Robots.txt для Yii

Автор Тема: Robots.txt для Yii  (Прочитано 6348 раз)

Оффлайн alexchocolateАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 3
  • Сообщений: 22
  • Карма: 1
    • Просмотр профиля

Оффлайн alexchocolateАвтор темы

  • Рекрут
  • *
Robots.txt для Yii
« : 23-09-2013, 12:41:49 »
Как правильно сделать роботс для движка Yii? Помогите сделать правильный robots.txt ,  для этого: www.yomarket.ru сайта,
что к этому еще следует добавить:
User-agent: Yandex
Disallow:
HOST: yomarket.ru/
Sitemap: http://www.yomarket.ru/sitemap.xml

User-agent: *
Disallow:
Sitemap: http://www.yomarket.ru/sitemap.xml


Оффлайн Alexluxe

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 478
  • Сообщений: 671
  • Карма: 40
    • Просмотр профиля
    • Люкс, туристическое агентство

Оффлайн Alexluxe

  • Ветеран
  • *****
Re: Robots.txt для Yii
« Ответ #1 : 23-09-2013, 14:01:51 »
Robots-у всё равно, под какой фреймворк или ЦМС!
Принципы везде одинаковы.
Выносим сам yii за пределы сайта, и запрещаем доступ куда захотим, что-бы не лез робот.
Как пример:
User-Agent: *
Disallow: /assets/
Disallow: /protected/
Disallow: /themes/
Disallow: /webstat/
Disallow: /user/
Host: www.yomarket.ru
Туризм это работа, а работа в удовольствие,    Туры в Турцию - и отдыхаем.

Оффлайн alexchocolateАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 3
  • Сообщений: 22
  • Карма: 1
    • Просмотр профиля

Оффлайн alexchocolateАвтор темы

  • Рекрут
  • *
Re: Robots.txt для Yii
« Ответ #2 : 28-09-2013, 15:47:42 »
Сделал вот такой роботс, зацените пожалуйста, скажите что может быть не правильно или что добавить
User-agent: Yandex
Disallow: /order/
Disallow: /assets/
Disallow: /protected/
Disallow: /themes/
Disallow: /webstat/
Disallow: /user/
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*


User-agent: *
Disallow: /order/
Disallow: /assets/
Disallow: /protected/
Disallow: /themes/
Disallow: /webstat/
Disallow: /user/
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
HOST: yomarket.ru/
Sitemap: http://www.yomarket.ru/sitemap.xml

Добавлено: 28-09-2013, 15:49:15

и еще вопрос. RDS bar почему-то не видит мой сайтмап и другие программы тоже показывают что его нет.. хотя я через вэбмастер проверяю показывает что все в норме... почему так?
« Последнее редактирование: 28-09-2013, 15:49:15 от alexchocolate »

Оффлайн emppire

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 158
  • Сообщений: 608
  • Карма: 19
  • Пол: Мужской
    • Просмотр профиля

Оффлайн emppire

  • Ветеран
  • *****
Re: Robots.txt для Yii
« Ответ #3 : 28-09-2013, 15:53:21 »
slash тут не нужен  HOST: yomarket.ru/

Оффлайн Alexluxe

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 478
  • Сообщений: 671
  • Карма: 40
    • Просмотр профиля
    • Люкс, туристическое агентство

Оффлайн Alexluxe

  • Ветеран
  • *****
Re: Robots.txt для Yii
« Ответ #4 : 30-09-2013, 09:30:58 »
1) Отдельно Яше роботс писать нужно, если отличаются. Т.е. первый блок не нужен.
2)
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback

Достаточно: Disallow: /trackback или Disallow: /trackback/
В зависимости как используется trackback, если ***/trackback - то первое, если ***/trackback/*** - второе.

3) Не нужно Disallow: /*?*
4) HOST: yomarket.ru , без слеша и последним.

Есть замечание, спрячьте "protected", или переименуйте (как минимум) а в сам protected насыпьте мусора и закройте. Это в целях безопасности.
Туризм это работа, а работа в удовольствие,    Туры в Турцию - и отдыхаем.


 

Похожие темы

  Тема / Автор Ответов Последний ответ
9 Ответов
3556 Просмотров
Последний ответ 16-03-2015, 14:33:08
от Barba Agency
2 Ответов
662 Просмотров
Последний ответ 30-03-2015, 17:51:19
от Boull
7 Ответов
1323 Просмотров
Последний ответ 10-12-2015, 14:03:29
от mikhaylovna
7 Ответов
1345 Просмотров
Последний ответ 26-12-2015, 12:32:16
от Dogica
3 Ответов
589 Просмотров
Последний ответ 21-01-2016, 17:12:33
от fortinbras