Robots.txt для Yii

[alexchocolate]

Как правильно сделать роботс для движка Yii? Помогите сделать правильный robots.txt ,  для этого: www.yomarket.ru сайта,
что к этому еще следует добавить:
User-agent: Yandex
Disallow:
HOST: yomarket.ru/
Sitemap: http://www.yomarket.ru/sitemap.xml

User-agent: *
Disallow:
Sitemap: http://www.yomarket.ru/sitemap.xml

[Alexluxe]

Robots-у всё равно, под какой фреймворк или ЦМС!
Принципы везде одинаковы.
Выносим сам yii за пределы сайта, и запрещаем доступ куда захотим, что-бы не лез робот.
Как пример:
User-Agent: *
Disallow: /assets/
Disallow: /protected/
Disallow: /themes/
Disallow: /webstat/
Disallow: /user/
Host: www.yomarket.ru

[alexchocolate]

Сделал вот такой роботс, зацените пожалуйста, скажите что может быть не правильно или что добавить
User-agent: Yandex
Disallow: /order/
Disallow: /assets/
Disallow: /protected/
Disallow: /themes/
Disallow: /webstat/
Disallow: /user/
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*


User-agent: *
Disallow: /order/
Disallow: /assets/
Disallow: /protected/
Disallow: /themes/
Disallow: /webstat/
Disallow: /user/
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
HOST: yomarket.ru/
Sitemap: http://www.yomarket.ru/sitemap.xml
Добавлено: 28-09-2013, 15:49:15

и еще вопрос. RDS bar почему-то не видит мой сайтмап и другие программы тоже показывают что его нет.. хотя я через вэбмастер проверяю показывает что все в норме... почему так?

[emppire]

slash тут не нужен  HOST: yomarket.ru/

[Alexluxe]

1) Отдельно Яше роботс писать нужно, если отличаются. Т.е. первый блок не нужен.
2)
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback

Достаточно: Disallow: /trackback или Disallow: /trackback/
В зависимости как используется trackback, если ***/trackback - то первое, если ***/trackback/*** - второе.

3) Не нужно Disallow: /*?*
4) HOST: yomarket.ru , без слеша и последним.

Есть замечание, спрячьте "protected", или переименуйте (как минимум) а в сам protected насыпьте мусора и закройте. Это в целях безопасности.