robots.txt

Автор Тема: robots.txt  (Прочитано 1692 раз)

Оффлайн vyacАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 0
  • Сообщений: 35
  • Карма: 0

Оффлайн vyacАвтор темы

  • Рекрут
  • *
robots.txt
« : 30-08-2014, 10:46:41 »
-1
как правильно сделать роботс. тхт. Надо в него прописывать ещё и site map?


Оффлайн Cyrus

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 271
  • Сообщений: 484
  • Карма: 47
  • Пол: Мужской
  • Награды SEO-специалист

Оффлайн Cyrus

  • Старожил
  • ****
Re: robots.txt
« Ответ #1 : 01-09-2014, 09:24:21 »
Надо. И sitemap надо прописывать и host и запрещающие и разрешающие директивы. В хелпе Яндекса все вполне хорошо описано - http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml.

Оффлайн borzoid

  • Бизнес оценка: (2, 100%)
  • Мастер
  • *****
  • СПАСИБО: 2425
  • Сообщений: 5311
  • Карма: 142
  • Пол: Мужской
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации Мастер по наращиванию ТИЦ
    • sbup

Оффлайн borzoid

  • Мастер
  • *****
Re: robots.txt
« Ответ #2 : 01-09-2014, 09:28:03 »
правильно вам ответили. Вот только я (хоть меня за это утверждение и могут закидать тухлыми помидорами) не стал бы особо заморачиваться с сайтмэп

Оффлайн ВикторияИ

  • Бизнес оценка: (0)
  • КМС
  • *****
  • СПАСИБО: 3067
  • Сообщений: 4121
  • Карма: 192
  • и да прибудет с Вами Сила.
  • Награды Автор самой интересной темы Более одной тысячи спасибо КМС поисковой оптимизации
    • Заказ автобуса в Одессе
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 3067
    • Сообщений: 4121
    • Карма: 192
    • и да прибудет с Вами Сила.
    • Награды Автор самой интересной темы Более одной тысячи спасибо КМС поисковой оптимизации
      • Заказ автобуса в Одессе
Re: robots.txt
« Ответ #3 : 01-09-2014, 09:31:41 »
стал бы особо заморачиваться с сайтмэп
смотря какой сайт - надо учитывать тот факт, что боты в первую очередь посещают файл роботс, а уже после идут на страницы сайта...

Оффлайн borzoid

  • Бизнес оценка: (2, 100%)
  • Мастер
  • *****
  • СПАСИБО: 2425
  • Сообщений: 5311
  • Карма: 142
  • Пол: Мужской
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации Мастер по наращиванию ТИЦ
    • sbup

Оффлайн borzoid

  • Мастер
  • *****
Re: robots.txt
« Ответ #4 : 01-09-2014, 09:35:31 »
смотря какой сайт - надо учитывать тот факт, что боты в первую очередь посещают файл роботс, а уже после идут на страницы сайта...
Вот то то и оно. Если не уверены, что сайт-мэп можете нормальный сделать, то лучше пусть сам бот гуляет. "Хорошим" сайт-мэпом можно на ура убить сайт :)


Оффлайн rukodelie-dom

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 1
  • Сообщений: 10
  • Карма: 0
  • Пол: Женский
    • Интересный Блог

Оффлайн rukodelie-dom

  • Рекрут
  • *
Re: robots.txt
« Ответ #5 : 11-01-2015, 01:57:39 »
После установки RSS ленты, начали появляться дубли страниц - какие есть способы закрыть индексацию их, через robots.txt?

Оффлайн ВикторияИ

  • Бизнес оценка: (0)
  • КМС
  • *****
  • СПАСИБО: 3067
  • Сообщений: 4121
  • Карма: 192
  • и да прибудет с Вами Сила.
  • Награды Автор самой интересной темы Более одной тысячи спасибо КМС поисковой оптимизации
    • Заказ автобуса в Одессе
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 3067
    • Сообщений: 4121
    • Карма: 192
    • и да прибудет с Вами Сила.
    • Награды Автор самой интересной темы Более одной тысячи спасибо КМС поисковой оптимизации
      • Заказ автобуса в Одессе
Re: robots.txt
« Ответ #6 : 11-01-2015, 06:27:04 »
После установки RSS ленты, начали появляться дубли страниц - какие есть способы закрыть индексацию их, через robots.txt?
можно и через роботс

а не лучше ли настроить РСС потоки?


 

Похожие темы

  Тема / Автор Ответов Последний ответ
4 Ответов
7092 Просмотров
Последний ответ 30-09-2013, 09:30:58
от Alexluxe
14 Ответов
3497 Просмотров
Последний ответ 29-10-2013, 17:15:19
от pavel_1982
1 Ответов
856 Просмотров
Последний ответ 26-09-2014, 16:12:28
от DOleg
7 Ответов
1443 Просмотров
Последний ответ 10-12-2015, 14:03:29
от mikhaylovna
7 Ответов
1497 Просмотров
Последний ответ 26-12-2015, 12:32:16
от Dogica