файл robots

[13anchousov]

Подскажите, пожалуйста, что должно быть в файле robots для лучшей индексации
у меня такой:
User-agent: *
Disallow:
User-agent: Yandex
Disallow:
Sitemap: http://proshow-producer.su/sitemap.xml

все разрешила, вставила ссылку на карту сайта.

[Cyrus]

13anchousov, я бы добавил тогда ещё Host: proshow-producer.su, чтобы указать основное зеркало:

Код Выделить Развернуть

User-agent: Yandex
Disallow:
Host: proshow-producer.su

User-agent: *
Disallow:

Sitemap: http://proshow-producer.su/sitemap.xml

А так, файл robots.txt не улучшает индексацию как таковую, только если за счет указания основного зеркала и карты сайта. Он для отсеивания дублей и малоинформативных страниц больше, что в вашем случае и не нужно, но файл должен быть все равно.

Хелп Яндекса - "Как ускорить индексирование" http://help.yandex.ru/webmaster/robot-workings/helping-robot.xml

[DOleg]

я бы добавил тогда ещё Host: proshow-producer.su, чтобы указать основное зеркало

Плюс к этому прописать в .htaccess редирект с домена с www на без него, ибо дубли.

[vold57]

User-agent: *
Disallow:
User-agent: Yandex
Disallow:
Sitemap: http://proshow-producer.su/sitemap.xml

В соответствии со стандартом перед каждой директивой 'User-agent' рекомендуется вставлять пустой перевод строки.