Странный robots, помогите советом

[evagrom79]

vold57, благодарю за подсказку, буду разбираться, как это реализовать)

[PLeoSEM]

Хоть сами поняли, что написали?

абсолютно, читайте внимательней. если в конкретной запрещенной к индексации папке необходимо открыть какую либо подпапку используется директива allow:

вырезка из справки гугла

Файл robots.txt состоит из одного или нескольких наборов правил. Каждый набор начинается с строки User-agent, которая определяет робота, подчиняющегося правилам в наборе. Вот пример файла с двумя правилами; они объяснены встроенными комментариями:

# Блокировать доступ робота Googlebot к каталогам example.com/directory1/... и example.com/directory2/...
# но разрешить доступ к каталогу directory2/subdirectory1/...
# Доступ ко всем остальным каталогам разрешен по умолчанию.
User-agent: googlebot
Disallow: /directory1/
Disallow: /directory2/
Allow: /directory2/subdirectory1/

ну и ссылка на справку в помощь - https://support.google.com/webmasters/answer/6062596?hl=ru

[Sky-fi]

PLeoSEM, Пример из гугла вы навели верный, вот только вверху перед этим рекомендовали черт знает что. Пауки не так работают с роботсом - для каждой папки нужно указывать либо полный путь, либо конечную папку и файлы в ней, но точно не так:

Код Выделить Развернуть

Disallow: /wp-content
Allow: /*.css
Процитированный  кусок значит запретить директорию wp-content, но разрешить индексацию файлов css в корневой папке. Но никак не разрешить файлы из /wp-content/*.css.

Зайдите в консоль, вебмастер, и проверьте, будет ли работать директивы вашего "примера" так, как вы объясняли выше.

И если нужно открыть какие либо файлы в папке лучше Allow указывать под ней.

Совет писать аллов ниже, чем дисаллов - это вообще что за сакральные знания такие, может поделитесь ссылкой на источник?