Корректный robot.txt

Автор Тема: Корректный robot.txt  (Прочитано 5045 раз)

Оффлайн Cyrus

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 271
  • Сообщений: 484
  • Карма: 47
  • Пол: Мужской
  • Награды SEO-специалист
    • Просмотр профиля

Оффлайн Cyrus

  • Старожил
  • ****
Re: Корректный robot.txt
« Ответ #20 : 20-09-2013, 09:55:01 »
viselega, Allow нужно не просто для того, чтобы разрешать индексацию страницы, которая в robots.txt и так в Disallow не закрыта, а она нужна для того, чтобы в закрытой директории сайта разрешать индексацию нужных частей. Например, возьмем движок webasyst, закрыли мы всю директорию сайта где движок находится и остальные скрипты и всякое лишнее для индексации:

User-agent: *
Disallow: /published/

А в директории сайта "published/***/attachments/**.jpg" лежат все картинки с сайта, получается мы закрыли индексацию картинок на сайте. По вашей логике теперь я должен буду 10 разных Disallow написать в robots.txt для того чтобы запретить всё в директории "published", кроме папки с картинками. А если использовать Allow, то я могу запретить к индексации всю директорию разом, но разрешить индексацию в ней отдельных частей, в частности нужной мне папки с картинками:

User-agent: *
Disallow: /published/
Allow: /*attachments

Надеюсь теперь понятно зачем нужно правило "Allow" и почему оно не так часто встречается? А кто там где-то что-то сказал или на каком-то сайте нету в примерах этого правила. Яндекс знает что он учитывает, как ранжирует, как индексирует и как все остальное делает и он в своем хелпе все это напишет.


 

Похожие темы

  Тема / Автор Ответов Последний ответ
7 Ответов
2500 Просмотров
Последний ответ 18-06-2011, 18:22:54
от myjobwebmed
3 Ответов
1814 Просмотров
Последний ответ 06-07-2011, 08:31:35
от Владимир75
5 Ответов
3065 Просмотров
Последний ответ 23-01-2013, 03:10:51
от rifys
2 Ответов
907 Просмотров
Последний ответ 23-09-2014, 20:08:06
от vovakozar
1 Ответов
613 Просмотров
Последний ответ 13-05-2015, 15:40:19
от Reistlin