Коллеги, столкнулась тут с необъятным robots, впервые такой вижу. Нутром чую, что много лишнего наворочено, но самой разобраться не под силу. Подскажите, пожалуйста, что тут подсократить можно:
[spoiler]User-agent: Googlebot
Allow: /
Allow: /wp-includes/css/*.css
Allow: /wp-includes/fonts/*.svg
Allow: /wp-includes/fonts/*.eot
Allow: /wp-includes/fonts/*.ttf
Allow: /wp-includes/fonts/*.woff
Allow: /wp-includes/fonts/*.woff2
Allow: /wp-includes/images/*.jpg
Allow: /wp-includes/images/*.jpeg
Allow: /wp-includes/images/*.gif
Allow: /wp-includes/images/*.png
Allow: /wp-includes/images/*.webp
Allow: /wp-includes/images/*.ico
Allow: /wp-includes/images/*.svg
Allow: /wp-includes/js/*.js
Allow: /wp-includes/js/*.css
Allow: /wp-includes/js/*.jpg
Allow: /wp-includes/js/*.jpeg
Allow: /wp-includes/js/*.gif
Allow: /wp-includes/js/*.png
Allow: /wp-includes/js/*.webp
Allow: /wp-includes/js/*.ico
Allow: /wp-includes/js/*.svg
Allow: /wp-content/plugins/*/*.css
Allow: /wp-content/plugins/*/*.js
Allow: /wp-content/plugins/*/*.jpg
Allow: /wp-content/plugins/*/*.jpeg
Allow: /wp-content/plugins/*/*.gif
Allow: /wp-content/plugins/*/*.png
Allow: /wp-content/plugins/*/*.webp
Allow: /wp-content/plugins/*/*.ico
Allow: /wp-content/plugins/*/*.svg
Allow: /wp-content/plugins/*/*.eot
Allow: /wp-content/plugins/*/*.ttf
Allow: /wp-content/plugins/*/*.woff
Allow: /wp-content/plugins/*/*.woff2
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.jpg
Allow: /wp-content/themes/*.jpeg
Allow: /wp-content/themes/*.gif
Allow: /wp-content/themes/*.png
Allow: /wp-content/themes/*.webp
Allow: /wp-content/themes/*.ico
Allow: /wp-content/themes/*.svg
Allow: /wp-content/themes/*.eot
Allow: /wp-content/themes/*.ttf
Allow: /wp-content/themes/*.woff
Allow: /wp-content/themes/*.woff2
Allow: /wp-content/uploads/
Allow: /u
Allow: /*sitemap*.xml
Disallow: /bin
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/languages
Disallow: /wp-includes
Disallow: *.php
Disallow: *.html
Disallow: *.htm
Disallow: *.shtml
Disallow: *.txt
Disallow: *.xml
Disallow: /author
Disallow: /tag
Disallow: /feed
Disallow: */feed
Disallow: /search
Disallow: */trackback
Disallow: */comment-
Disallow: /*?*
Disallow: /category/uncategorized/
Crawl-delay: 2
User-agent: Yandex
Allow: /
Allow: /wp-includes/css/*.css
Allow: /wp-includes/fonts/*.svg
Allow: /wp-includes/fonts/*.eot
Allow: /wp-includes/fonts/*.ttf
Allow: /wp-includes/fonts/*.woff
Allow: /wp-includes/fonts/*.woff2
Allow: /wp-includes/images/*.jpg
Allow: /wp-includes/images/*.jpeg
Allow: /wp-includes/images/*.gif
Allow: /wp-includes/images/*.png
Allow: /wp-includes/images/*.webp
Allow: /wp-includes/images/*.ico
Allow: /wp-includes/images/*.svg
Allow: /wp-includes/js/*.js
Allow: /wp-includes/js/*.css
Allow: /wp-includes/js/*.jpg
Allow: /wp-includes/js/*.jpeg
Allow: /wp-includes/js/*.gif
Allow: /wp-includes/js/*.png
Allow: /wp-includes/js/*.webp
Allow: /wp-includes/js/*.ico
Allow: /wp-includes/js/*.svg
Allow: /wp-content/plugins/*/*.css
Allow: /wp-content/plugins/*/*.js
Allow: /wp-content/plugins/*/*.jpg
Allow: /wp-content/plugins/*/*.jpeg
Allow: /wp-content/plugins/*/*.gif
Allow: /wp-content/plugins/*/*.png
Allow: /wp-content/plugins/*/*.webp
Allow: /wp-content/plugins/*/*.ico
Allow: /wp-content/plugins/*/*.svg
Allow: /wp-content/plugins/*/*.eot
Allow: /wp-content/plugins/*/*.ttf
Allow: /wp-content/plugins/*/*.woff
Allow: /wp-content/plugins/*/*.woff2
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.jpg
Allow: /wp-content/themes/*.jpeg
Allow: /wp-content/themes/*.gif
Allow: /wp-content/themes/*.png
Allow: /wp-content/themes/*.webp
Allow: /wp-content/themes/*.ico
Allow: /wp-content/themes/*.svg
Allow: /wp-content/themes/*.eot
Allow: /wp-content/themes/*.ttf
Allow: /wp-content/themes/*.woff
Allow: /wp-content/themes/*.woff2
Allow: /wp-content/uploads/
Allow: /u
Allow: /*sitemap*.xml
Disallow: /bin
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/languages
Disallow: /wp-includes
Disallow: *.php
Disallow: *.html
Disallow: *.htm
Disallow: *.shtml
Disallow: *.txt
Disallow: *.xml
Disallow: /author
Disallow: /tag
Disallow: /feed
Disallow: */feed
Disallow: /search
Disallow: */trackback
Disallow: */comment-
Disallow: /*?*
Disallow: /category/uncategorized/
Crawl-delay: 2
User-agent: bingbot
Allow: /
Allow: /wp-includes/css/*.css
Allow: /wp-includes/fonts/*.svg
Allow: /wp-includes/fonts/*.eot
Allow: /wp-includes/fonts/*.ttf
Allow: /wp-includes/fonts/*.woff
Allow: /wp-includes/fonts/*.woff2
Allow: /wp-includes/images/*.jpg
Allow: /wp-includes/images/*.jpeg
Allow: /wp-includes/images/*.gif
Allow: /wp-includes/images/*.png
Allow: /wp-includes/images/*.webp
Allow: /wp-includes/images/*.ico
Allow: /wp-includes/images/*.svg
Allow: /wp-includes/js/*.js
Allow: /wp-includes/js/*.css
Allow: /wp-includes/js/*.jpg
Allow: /wp-includes/js/*.jpeg
Allow: /wp-includes/js/*.gif
Allow: /wp-includes/js/*.png
Allow: /wp-includes/js/*.webp
Allow: /wp-includes/js/*.ico
Allow: /wp-includes/js/*.svg
Allow: /wp-content/plugins/*/*.css
Allow: /wp-content/plugins/*/*.js
Allow: /wp-content/plugins/*/*.jpg
Allow: /wp-content/plugins/*/*.jpeg
Allow: /wp-content/plugins/*/*.gif
Allow: /wp-content/plugins/*/*.png
Allow: /wp-content/plugins/*/*.webp
Allow: /wp-content/plugins/*/*.ico
Allow: /wp-content/plugins/*/*.svg
Allow: /wp-content/plugins/*/*.eot
Allow: /wp-content/plugins/*/*.ttf
Allow: /wp-content/plugins/*/*.woff
Allow: /wp-content/plugins/*/*.woff2
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.jpg
Allow: /wp-content/themes/*.jpeg
Allow: /wp-content/themes/*.gif
Allow: /wp-content/themes/*.png
Allow: /wp-content/themes/*.webp
Allow: /wp-content/themes/*.ico
Allow: /wp-content/themes/*.svg
Allow: /wp-content/themes/*.eot
Allow: /wp-content/themes/*.ttf
Allow: /wp-content/themes/*.woff
Allow: /wp-content/themes/*.woff2
Allow: /wp-content/uploads/
Allow: /u
Allow: /*sitemap*.xml
Disallow: /bin
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/languages
Disallow: /wp-includes
Disallow: *.php
Disallow: *.html
Disallow: *.htm
Disallow: *.shtml
Disallow: *.txt
Disallow: *.xml
Disallow: /author
Disallow: /tag
Disallow: /feed
Disallow: */feed
Disallow: /search
Disallow: */trackback
Disallow: */comment-
Disallow: /*?*
Disallow: /category/uncategorized/
Crawl-delay: 2
User-agent: *
Allow: /
Allow: /wp-includes/css/*.css
Allow: /wp-includes/fonts/*.svg
Allow: /wp-includes/fonts/*.eot
Allow: /wp-includes/fonts/*.ttf
Allow: /wp-includes/fonts/*.woff
Allow: /wp-includes/fonts/*.woff2
Allow: /wp-includes/images/*.jpg
Allow: /wp-includes/images/*.jpeg
Allow: /wp-includes/images/*.gif
Allow: /wp-includes/images/*.png
Allow: /wp-includes/images/*.webp
Allow: /wp-includes/images/*.ico
Allow: /wp-includes/images/*.svg
Allow: /wp-includes/js/*.js
Allow: /wp-includes/js/*.css
Allow: /wp-includes/js/*.jpg
Allow: /wp-includes/js/*.jpeg
Allow: /wp-includes/js/*.gif
Allow: /wp-includes/js/*.png
Allow: /wp-includes/js/*.webp
Allow: /wp-includes/js/*.ico
Allow: /wp-includes/js/*.svg
Allow: /wp-content/plugins/*/*.css
Allow: /wp-content/plugins/*/*.js
Allow: /wp-content/plugins/*/*.jpg
Allow: /wp-content/plugins/*/*.jpeg
Allow: /wp-content/plugins/*/*.gif
Allow: /wp-content/plugins/*/*.png
Allow: /wp-content/plugins/*/*.webp
Allow: /wp-content/plugins/*/*.ico
Allow: /wp-content/plugins/*/*.svg
Allow: /wp-content/plugins/*/*.eot
Allow: /wp-content/plugins/*/*.ttf
Allow: /wp-content/plugins/*/*.woff
Allow: /wp-content/plugins/*/*.woff2
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.jpg
Allow: /wp-content/themes/*.jpeg
Allow: /wp-content/themes/*.gif
Allow: /wp-content/themes/*.png
Allow: /wp-content/themes/*.webp
Allow: /wp-content/themes/*.ico
Allow: /wp-content/themes/*.svg
Allow: /wp-content/themes/*.eot
Allow: /wp-content/themes/*.ttf
Allow: /wp-content/themes/*.woff
Allow: /wp-content/themes/*.woff2
Allow: /wp-content/uploads/
Allow: /u
Allow: /*sitemap*.xml
Disallow: /bin
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/languages
Disallow: /wp-includes
Disallow: *.php
Disallow: *.html
Disallow: *.htm
Disallow: *.shtml
Disallow: *.txt
Disallow: *.xml
Disallow: /author
Disallow: /tag
Disallow: /feed
Disallow: */feed
Disallow: /search
Disallow: */trackback
Disallow: */comment-
Disallow: /*?*
Disallow: /category/uncategorized/
Crawl-delay: 10[/spoiler]
Интересно, зачем 100500 разрешающих директив для каждого типа файлов, но при этом "Allow: /" в самом верху :)
Я бы снес вообще это недоразумение и залил стандартный вордпрессовский роботс.
Цитата: Sky-fi от 23-10-2018, 23:16:34Я бы снес вообще это недоразумение и залил стандартный вордпрессовский роботс.
Ярослав, спасибо за подсказку! Значит, в правильном направлении мыслю)
Раз Вордпресс, вот тебе классика:
классический аксес:
Цитировать# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
# END WordPress
Классический роботс:
ЦитироватьUser-agent: *
Disallow: /wp-admin/
Disallow: /author/
Disallow: /?s=
Host: http://site.com.ua/
Sitemap: http://site.com.ua/sitemap.xml
Все просто и без наворотов 8)
Цитата: maxikk от 24-10-2018, 11:49:58Host: http://site.com.ua/
Хост уже можно не указывать - Яндекс весной отказался от данной директивы.
Если для поисковиков нет отдельных (уникальных директив) то можно оставить только User-agent: *
Директива Allow: / по сути не нужна, так как при отсутствии Disallow: / сайт по умолчанию открыт для индексации.
И если нужно открыть какие либо файлы в папке лучше Allow указывать под ней. Пример :
Disallow: /wp-content
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.jpeg
Allow: /*.gif
Allow: /*.png
Allow: /*.webp
Allow: /*.ico
Allow: /*.svg
Allow: /*.eot
Allow: /*.ttf
Allow: /*.woff
Allow: /*.woff2
Возьмите стандартный роботс, спарсите сайт и посмотрите что дополнительно вам нужно закрыть.
Цитата: PLeoSEM от 25-10-2018, 11:20:33в папке лучше Allow указывать под ней. Пример
Наведите хоть один аргумент в пользу данного бреда. Хоть сами поняли, что написали?
evagrom79, похоже, что этот роботс составлял сеошнеГ, который хотел показать заказчику, что тот платит ему не зря.
vold57, подозреваю, что так.
Раньше с этим челом работала, сейчас просто нет-нет подсказываю и помогаю, тут он спросил, как можно страницы (пагинацию) скрыть. Решила, что быстрее самой сделать, чем ему объяснять, нырнула в роботс, а там это ??? Я и растерялась с такого обилия всего - сама всегда исхожу из стандартного, добавляя то, что мне нужно, соответственно, половину условий даже не знаю, для чего они.
Выяснилось, что делал кто-то с кворка, как сказал потерпевший, "мальчик молодой, но специалист отличный, массу курсов изучил, общается грамотно" (цитата).
Наверное, школьник, нахватавшийся умных терминов :D
Цитата: evagrom79 от 25-10-2018, 14:07:07спросил, как можно страницы (пагинацию) скрыть.
Это через каноникл лучше сделать. Если запрещать через файл роботс, то по анонсам робот переходить не будет. А с каноникл будет.
vold57, благодарю за подсказку, буду разбираться, как это реализовать)
Цитата: Sky-fi от 25-10-2018, 13:25:33
Хоть сами поняли, что написали?
абсолютно, читайте внимательней. если в конкретной запрещенной к индексации папке необходимо открыть какую либо подпапку используется директива allow:
вырезка из справки гугла
Файл robots.txt состоит из одного или нескольких наборов правил. Каждый набор начинается с строки User-agent, которая определяет робота, подчиняющегося правилам в наборе. Вот пример файла с двумя правилами; они объяснены встроенными комментариями:
# Блокировать доступ робота Googlebot к каталогам example.com/directory1/... и example.com/directory2/...
# но разрешить доступ к каталогу directory2/subdirectory1/...
# Доступ ко всем остальным каталогам разрешен по умолчанию.
User-agent: googlebot
Disallow: /directory1/
Disallow: /directory2/
Allow: /directory2/subdirectory1/
ну и ссылка на справку в помощь - https://support.google.com/webmasters/answer/6062596?hl=ru
PLeoSEM, Пример из гугла вы навели верный, вот только вверху перед этим рекомендовали черт знает что. Пауки не так работают с роботсом - для каждой папки нужно указывать либо полный путь, либо конечную папку и файлы в ней, но точно не так:
Disallow: /wp-content
Allow: /*.cssПроцитированный кусок значит запретить директорию wp-content, но разрешить индексацию файлов css в корневой папке. Но никак не разрешить файлы из /wp-content/*.css.
Зайдите в консоль, вебмастер, и проверьте, будет ли работать директивы вашего "примера" так, как вы объясняли выше.
Цитата: PLeoSEM от 25-10-2018, 11:20:33И если нужно открыть какие либо файлы в папке лучше Allow указывать под ней.
Совет писать аллов ниже, чем дисаллов - это вообще что за сакральные знания такие, может поделитесь ссылкой на источник?