Здравствуйте.
Прошу помочь и разъяснить ошибку в моем robots.txt
[spoiler]User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /xmlrpc.php
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /tag/
Disallow: */feed/
Disallow: /author/
Disallow: /*?p=
Disallow: /*?attachment_id=
User-agent: Googlebot
Allow: /wp-includes/js/
Disallow: /wp-includes/
Disallow: /*&city=
User-agent: Yandex
Disallow: /wp-json/
Clean-param: city= /
Host: kachestvo.by
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
Disallow: /wp-includes/
User-agent: YandexImages
Allow: /wp-content/uploads/
Disallow: /wp-includes/[/spoiler]
Дело в том что не смотря на то что в правилах для всех роботов прописано, к примеру: Disallow: /tag/
Но бот Яндекса все равно индексирует эти страницы. При проверке robots.txt через вебмастер яндекса показывает что Яндекс использует только правила указанные непосредственно для бота Яндекс, а общие правила он игнорирует.
Подскажите в чем же моя ошибка...
Цитата: Redgektor от 21-01-2016, 15:28:27х роботов прописано, к примеру: Disallow: /tag/
Но бот Яндекса все равно индексирует эти страницы. При проверке robots.txt через вебмастер яндекса показывает что Яндекс использует только правила указанные непосредственно для бота Яндекс, а общие правила он игнорирует.
Так и должно быть. Правила прописываются либо для всех ботов, либо для отдельных, во втором случае общие директивы будут проигнорированы.
А чтобы более надежно закрыть страницы, используйте мета-тег robots.
Т.е. для робота Яндекс (User-agent: Yandex) должны быть скопированы все общие инструкции и дополнительно прописаны специфические для этого робота?
Касается ли это роботов YandexImages и Googlebot-Image
Да, все верно.
Для User-agent: Yandex должны быть скопированы все общие инструкции и дополнительно прописаны специфические для этого робота.
Например, директива Host - она прописывается только для Яндекса.
Для картинок, соответственно информация, которая относится к картинкам.
Хотя на моей практике очень-очень редко встречал, чтобы кто-то прописывал отдельные указания для роботов по картинкам.