Что должно быть прописано в роботсе?

[westj]

Сайт на народ ру. В роботсе у меня одна строчка -
host: "главное зеркало"
Можно оставить так или ещё что то должно быть обязательно записано в rorbots.txt?

[Fess]

robots должен содержать минимум один User-agent и минимум одну запись Disallow.
В вашем случае лучше составить так:

User-agent:*
Allow:/

User-agent: Yandex
host: ваш сайт (без http и закрывающего слеша /)

[westj]

robots должен содержать минимум один User-agent и минимум одну запись Disallow.
В вашем случае лучше составить так:

User-agent:*
Allow:/

User-agent: Yandex
host: ваш сайт (без http и закрывающего слеша /)

Спасибо. После Allow:/  ничего не надо писать? например домен?

[izhsenator]

нет, не чего прописывать не нужно,эта запись разрешает индексировать весь сайт

[vladimir1983]

Яндекс robots.txt
Google robots.txt
p.s ТС правильно всё! Не когда не используйте поиск, он для неумных... Появился детский вопрос, сразу тему создавайте.

[akenfol]

да согласен, но ведь надо убрать к примеру дубли страниц или что то еще не нужное

[Chiliec]

да согласен, но ведь надо убрать к примеру дубли страниц или что то еще не нужное

По этим ссылкам как раз есть вся информация, как это сделать

[westj]

Яндекс robots.txt
Google robots.txt
p.s ТС правильно всё! Не когда не используйте поиск, он для неумных... Появился детский вопрос, сразу тему создавайте.

Спасибо, но я не имею цели углубляться в эту тему. Я задал простой вопрос и хотел получить на него простой ответ от тех, кто уже в этом разобрался. Зачем вообще задавать какие-либо вопросы на форуме? Пользуйтесь поиском гугла и наверняка найдёте искомое.

[vladimir1983]

Пользуйтесь поиском гугла и наверняка найдёте искомое

Да, так и надо делать.
На форум как мне казалось должны решать-обсуждать какие то проблемы-идеи, если проблемы-идеи интересные, то и форум будет интересным, если проблемы такие как у вас в основном, то это не форум, это детский сад...

[westj]

Да, так и надо делать.
На форум как мне казалось должны решать-обсуждать какие то проблемы-идеи, если проблемы-идеи интересные, то и форум будет интересным, если проблемы такие как у вас в основном, то это не форум, это детский сад...

На вашем форуме про попугаев одни инновационные идеи высказываются? Или это не ваш форум, а просто ссылка?