Если вам нравится SbUP Форум, вы можете поддержать его - BTC: bc1qppjcl3c2cyjazy6lepmrv3fh6ke9mxs7zpfky0 , TRC20 и ещё....

 

Robots.txt поясните пожалуйста.

Автор Redgektor, 21-01-2016, 15:28:27

« назад - далее »

RedgektorTopic starter

Здравствуйте.
Прошу помочь  и разъяснить ошибку в моем robots.txt
[spoiler]User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /xmlrpc.php
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /tag/
Disallow: */feed/
Disallow: /author/
Disallow: /*?p=
Disallow: /*?attachment_id=

User-agent: Googlebot
Allow: /wp-includes/js/
Disallow: /wp-includes/
Disallow: /*&city=

User-agent: Yandex
Disallow: /wp-json/
Clean-param: city= /
Host: kachestvo.by

User-agent: Googlebot-Image
Allow: /wp-content/uploads/
Disallow: /wp-includes/

User-agent: YandexImages
Allow: /wp-content/uploads/
Disallow: /wp-includes/[/spoiler]

Дело в том что не смотря на то что в правилах для всех роботов прописано, к примеру: Disallow: /tag/
Но бот Яндекса все равно индексирует эти страницы. При проверке robots.txt  через вебмастер яндекса показывает что Яндекс использует только правила указанные непосредственно для бота Яндекс, а общие правила он игнорирует.

Подскажите в чем же моя ошибка...
  •  


Sky-fi

Цитата: Redgektor от 21-01-2016, 15:28:27х роботов прописано, к примеру: Disallow: /tag/
Но бот Яндекса все равно индексирует эти страницы. При проверке robots.txt  через вебмастер яндекса показывает что Яндекс использует только правила указанные непосредственно для бота Яндекс, а общие правила он игнорирует.
Так и должно быть. Правила прописываются либо для всех ботов, либо для отдельных, во втором случае общие директивы будут проигнорированы.

А чтобы более надежно закрыть страницы, используйте мета-тег robots.


RedgektorTopic starter

Т.е. для робота Яндекс (User-agent: Yandex) должны быть скопированы все общие инструкции и дополнительно прописаны специфические для этого робота?

Касается ли это роботов YandexImages и Googlebot-Image
  •  

fortinbras

Да, все верно.
Для User-agent: Yandex должны быть скопированы все общие инструкции и дополнительно прописаны специфические для этого робота.
Например, директива Host - она прописывается только для Яндекса.

Для картинок, соответственно информация, которая относится к картинкам.
Хотя на моей практике очень-очень редко встречал, чтобы кто-то прописывал отдельные указания для роботов по картинкам.
Вебстудия iDigital.com.ua
  •  



Если вам нравится SbUP Форум, вы можете поддержать его - BTC: bc1qppjcl3c2cyjazy6lepmrv3fh6ke9mxs7zpfky0 , TRC20 и ещё....