Что должно быть прописано в роботсе?

Автор Тема: Что должно быть прописано в роботсе?  (Прочитано 8340 раз)

Оффлайн westjАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 156
  • Сообщений: 1028
  • Карма: 16
  • Пол: Мужской

Оффлайн westjАвтор темы

  • Ветеран
  • *****
Сайт на народ ру. В роботсе у меня одна строчка -
host: "главное зеркало"
Можно оставить так или ещё что то должно быть обязательно записано в rorbots.txt?


Оффлайн Fess

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 68
  • Сообщений: 297
  • Карма: 28
  • Пол: Мужской

Оффлайн Fess

  • Старожил
  • ****
robots должен содержать минимум один User-agent и минимум одну запись Disallow.
В вашем случае лучше составить так:

User-agent:*
Allow:/

User-agent: Yandex
host: ваш сайт (без http и закрывающего слеша /)
« Последнее редактирование: 09-05-2011, 00:34:52 от Fess »

Оффлайн westjАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 156
  • Сообщений: 1028
  • Карма: 16
  • Пол: Мужской

Оффлайн westjАвтор темы

  • Ветеран
  • *****
robots должен содержать минимум один User-agent и минимум одну запись Disallow.
В вашем случае лучше составить так:

User-agent:*
Allow:/

User-agent: Yandex
host: ваш сайт (без http и закрывающего слеша /)

Спасибо. После Allow:/  ничего не надо писать? например домен?

Оффлайн izhsenator

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 5
  • Карма: 1

Оффлайн izhsenator

  • Дебютант
  • *
нет, не чего прописывать не нужно,эта запись разрешает индексировать весь сайт

Оффлайн vladimir1983

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 79
  • Сообщений: 921
  • Карма: 101
  • Пол: Мужской
  • Награды За благотворительность Почетный гражданин нашего форума
    • Волнистые попугаи

Оффлайн vladimir1983

  • Ветеран
  • *****
Яндекс robots.txt
Google robots.txt
p.s ТС правильно всё! Не когда не используйте поиск, он для неумных... Появился детский вопрос, сразу тему создавайте.


Оффлайн akenfol

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 2
  • Сообщений: 7
  • Карма: 2
  • Пол: Мужской

Оффлайн akenfol

  • Дебютант
  • *
да согласен, но ведь надо убрать к примеру дубли страниц или что то еще не нужное

Оффлайн Chiliec

  • Владимир
  • Бизнес оценка: (3, 100%)
  • КМС
  • *****
  • СПАСИБО: 555
  • Сообщений: 2291
  • Карма: 188
  • Пол: Мужской
  • Программист
  • Награды Мастер поисковой оптимизации Почетный гражданин нашего форума

Оффлайн Chiliec

  • КМС
  • *****
  • Доп. информация
    • Владимир
    • Бизнес оценка: (3, 100%)
    • СПАСИБО: 555
    • Сообщений: 2291
    • Карма: 188
    • Пол: Мужской
    • Программист
    • Награды Мастер поисковой оптимизации Почетный гражданин нашего форума
да согласен, но ведь надо убрать к примеру дубли страниц или что то еще не нужное
По этим ссылкам как раз есть вся информация, как это сделать ;)

Оффлайн westjАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 156
  • Сообщений: 1028
  • Карма: 16
  • Пол: Мужской

Оффлайн westjАвтор темы

  • Ветеран
  • *****
Яндекс robots.txt
Google robots.txt
p.s ТС правильно всё! Не когда не используйте поиск, он для неумных... Появился детский вопрос, сразу тему создавайте.
Спасибо, но я не имею цели углубляться в эту тему. Я задал простой вопрос и хотел получить на него простой ответ от тех, кто уже в этом разобрался. Зачем вообще задавать какие-либо вопросы на форуме? Пользуйтесь поиском гугла и наверняка найдёте искомое.
« Последнее редактирование: 09-05-2011, 18:04:17 от westj »

Оффлайн vladimir1983

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 79
  • Сообщений: 921
  • Карма: 101
  • Пол: Мужской
  • Награды За благотворительность Почетный гражданин нашего форума
    • Волнистые попугаи

Оффлайн vladimir1983

  • Ветеран
  • *****
Пользуйтесь поиском гугла и наверняка найдёте искомое
Да, так и надо делать.
На форум как мне казалось должны решать-обсуждать какие то проблемы-идеи, если проблемы-идеи интересные, то и форум будет интересным, если проблемы такие как у вас в основном, то это не форум, это детский сад...






Оффлайн westjАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 156
  • Сообщений: 1028
  • Карма: 16
  • Пол: Мужской

Оффлайн westjАвтор темы

  • Ветеран
  • *****
Да, так и надо делать.
На форум как мне казалось должны решать-обсуждать какие то проблемы-идеи, если проблемы-идеи интересные, то и форум будет интересным, если проблемы такие как у вас в основном, то это не форум, это детский сад...
На вашем форуме про попугаев одни инновационные идеи высказываются? Или это не ваш форум, а просто ссылка?


 

Похожие темы

  Тема / Автор Ответов Последний ответ
2 Ответов
1848 Просмотров
Последний ответ 15-02-2012, 08:53:38
от mark3000
12 Ответов
10915 Просмотров
Последний ответ 09-05-2013, 14:40:22
от ju4ka
13 Ответов
5689 Просмотров
Последний ответ 27-06-2013, 10:14:19
от Sergw
33 Ответов
13907 Просмотров
Последний ответ 29-09-2013, 17:01:00
от Eshatos
4 Ответов
1293 Просмотров
Последний ответ 02-07-2015, 11:04:43
от [DiZ]