robots.txt

[vyac]

как правильно сделать роботс. тхт. Надо в него прописывать ещё и site map?

[Cyrus]

Надо. И sitemap надо прописывать и host и запрещающие и разрешающие директивы. В хелпе Яндекса все вполне хорошо описано - http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml.

[borzoid]

правильно вам ответили. Вот только я (хоть меня за это утверждение и могут закидать тухлыми помидорами) не стал бы особо заморачиваться с сайтмэп

[ВикторияИ]

стал бы особо заморачиваться с сайтмэп

смотря какой сайт - надо учитывать тот факт, что боты в первую очередь посещают файл роботс, а уже после идут на страницы сайта...

[borzoid]

смотря какой сайт - надо учитывать тот факт, что боты в первую очередь посещают файл роботс, а уже после идут на страницы сайта...

Вот то то и оно. Если не уверены, что сайт-мэп можете нормальный сделать, то лучше пусть сам бот гуляет. "Хорошим" сайт-мэпом можно на ура убить сайт

[rudom]

После установки RSS ленты, начали появляться дубли страниц - какие есть способы закрыть индексацию их, через robots.txt?

[ВикторияИ]

После установки RSS ленты, начали появляться дубли страниц - какие есть способы закрыть индексацию их, через robots.txt?

можно и через роботс

а не лучше ли настроить РСС потоки?