Если вам нравится SbUP Форум, вы можете поддержать его - BTC: bc1qppjcl3c2cyjazy6lepmrv3fh6ke9mxs7zpfky0 , TRC20 и ещё....

 

Странный robots, помогите советом

Автор evagrom79, 23-10-2018, 20:00:29

« назад - далее »
Печать
Вниз Страницы1 2
Действия пользователя

evagrom79Topic starter

23-10-2018, 20:00:29
Коллеги, столкнулась тут с необъятным robots, впервые такой вижу. Нутром чую, что много лишнего наворочено, но самой разобраться не под силу. Подскажите, пожалуйста, что тут подсократить можно:


[spoiler]User-agent: Googlebot
Allow: /
Allow: /wp-includes/css/*.css
Allow: /wp-includes/fonts/*.svg
Allow: /wp-includes/fonts/*.eot
Allow: /wp-includes/fonts/*.ttf
Allow: /wp-includes/fonts/*.woff
Allow: /wp-includes/fonts/*.woff2
Allow: /wp-includes/images/*.jpg
Allow: /wp-includes/images/*.jpeg
Allow: /wp-includes/images/*.gif
Allow: /wp-includes/images/*.png
Allow: /wp-includes/images/*.webp
Allow: /wp-includes/images/*.ico
Allow: /wp-includes/images/*.svg
Allow: /wp-includes/js/*.js
Allow: /wp-includes/js/*.css
Allow: /wp-includes/js/*.jpg
Allow: /wp-includes/js/*.jpeg
Allow: /wp-includes/js/*.gif
Allow: /wp-includes/js/*.png
Allow: /wp-includes/js/*.webp
Allow: /wp-includes/js/*.ico
Allow: /wp-includes/js/*.svg
Allow: /wp-content/plugins/*/*.css
Allow: /wp-content/plugins/*/*.js
Allow: /wp-content/plugins/*/*.jpg
Allow: /wp-content/plugins/*/*.jpeg
Allow: /wp-content/plugins/*/*.gif
Allow: /wp-content/plugins/*/*.png
Allow: /wp-content/plugins/*/*.webp
Allow: /wp-content/plugins/*/*.ico
Allow: /wp-content/plugins/*/*.svg
Allow: /wp-content/plugins/*/*.eot
Allow: /wp-content/plugins/*/*.ttf
Allow: /wp-content/plugins/*/*.woff
Allow: /wp-content/plugins/*/*.woff2
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.jpg
Allow: /wp-content/themes/*.jpeg
Allow: /wp-content/themes/*.gif
Allow: /wp-content/themes/*.png
Allow: /wp-content/themes/*.webp
Allow: /wp-content/themes/*.ico
Allow: /wp-content/themes/*.svg
Allow: /wp-content/themes/*.eot
Allow: /wp-content/themes/*.ttf
Allow: /wp-content/themes/*.woff
Allow: /wp-content/themes/*.woff2
Allow: /wp-content/uploads/
Allow: /u
Allow: /*sitemap*.xml
Disallow: /bin
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/languages
Disallow: /wp-includes
Disallow: *.php
Disallow: *.html
Disallow: *.htm
Disallow: *.shtml
Disallow: *.txt
Disallow: *.xml
Disallow: /author
Disallow: /tag
Disallow: /feed
Disallow: */feed
Disallow: /search
Disallow: */trackback
Disallow: */comment-
Disallow: /*?*
Disallow: /category/uncategorized/
Crawl-delay: 2

User-agent: Yandex
Allow: /
Allow: /wp-includes/css/*.css
Allow: /wp-includes/fonts/*.svg
Allow: /wp-includes/fonts/*.eot
Allow: /wp-includes/fonts/*.ttf
Allow: /wp-includes/fonts/*.woff
Allow: /wp-includes/fonts/*.woff2
Allow: /wp-includes/images/*.jpg
Allow: /wp-includes/images/*.jpeg
Allow: /wp-includes/images/*.gif
Allow: /wp-includes/images/*.png
Allow: /wp-includes/images/*.webp
Allow: /wp-includes/images/*.ico
Allow: /wp-includes/images/*.svg
Allow: /wp-includes/js/*.js
Allow: /wp-includes/js/*.css
Allow: /wp-includes/js/*.jpg
Allow: /wp-includes/js/*.jpeg
Allow: /wp-includes/js/*.gif
Allow: /wp-includes/js/*.png
Allow: /wp-includes/js/*.webp
Allow: /wp-includes/js/*.ico
Allow: /wp-includes/js/*.svg
Allow: /wp-content/plugins/*/*.css
Allow: /wp-content/plugins/*/*.js
Allow: /wp-content/plugins/*/*.jpg
Allow: /wp-content/plugins/*/*.jpeg
Allow: /wp-content/plugins/*/*.gif
Allow: /wp-content/plugins/*/*.png
Allow: /wp-content/plugins/*/*.webp
Allow: /wp-content/plugins/*/*.ico
Allow: /wp-content/plugins/*/*.svg
Allow: /wp-content/plugins/*/*.eot
Allow: /wp-content/plugins/*/*.ttf
Allow: /wp-content/plugins/*/*.woff
Allow: /wp-content/plugins/*/*.woff2
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.jpg
Allow: /wp-content/themes/*.jpeg
Allow: /wp-content/themes/*.gif
Allow: /wp-content/themes/*.png
Allow: /wp-content/themes/*.webp
Allow: /wp-content/themes/*.ico
Allow: /wp-content/themes/*.svg
Allow: /wp-content/themes/*.eot
Allow: /wp-content/themes/*.ttf
Allow: /wp-content/themes/*.woff
Allow: /wp-content/themes/*.woff2
Allow: /wp-content/uploads/
Allow: /u
Allow: /*sitemap*.xml
Disallow: /bin
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/languages
Disallow: /wp-includes
Disallow: *.php
Disallow: *.html
Disallow: *.htm
Disallow: *.shtml
Disallow: *.txt
Disallow: *.xml
Disallow: /author
Disallow: /tag
Disallow: /feed
Disallow: */feed
Disallow: /search
Disallow: */trackback
Disallow: */comment-
Disallow: /*?*
Disallow: /category/uncategorized/
Crawl-delay: 2

User-agent: bingbot
Allow: /
Allow: /wp-includes/css/*.css
Allow: /wp-includes/fonts/*.svg
Allow: /wp-includes/fonts/*.eot
Allow: /wp-includes/fonts/*.ttf
Allow: /wp-includes/fonts/*.woff
Allow: /wp-includes/fonts/*.woff2
Allow: /wp-includes/images/*.jpg
Allow: /wp-includes/images/*.jpeg
Allow: /wp-includes/images/*.gif
Allow: /wp-includes/images/*.png
Allow: /wp-includes/images/*.webp
Allow: /wp-includes/images/*.ico
Allow: /wp-includes/images/*.svg
Allow: /wp-includes/js/*.js
Allow: /wp-includes/js/*.css
Allow: /wp-includes/js/*.jpg
Allow: /wp-includes/js/*.jpeg
Allow: /wp-includes/js/*.gif
Allow: /wp-includes/js/*.png
Allow: /wp-includes/js/*.webp
Allow: /wp-includes/js/*.ico
Allow: /wp-includes/js/*.svg
Allow: /wp-content/plugins/*/*.css
Allow: /wp-content/plugins/*/*.js
Allow: /wp-content/plugins/*/*.jpg
Allow: /wp-content/plugins/*/*.jpeg
Allow: /wp-content/plugins/*/*.gif
Allow: /wp-content/plugins/*/*.png
Allow: /wp-content/plugins/*/*.webp
Allow: /wp-content/plugins/*/*.ico
Allow: /wp-content/plugins/*/*.svg
Allow: /wp-content/plugins/*/*.eot
Allow: /wp-content/plugins/*/*.ttf
Allow: /wp-content/plugins/*/*.woff
Allow: /wp-content/plugins/*/*.woff2
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.jpg
Allow: /wp-content/themes/*.jpeg
Allow: /wp-content/themes/*.gif
Allow: /wp-content/themes/*.png
Allow: /wp-content/themes/*.webp
Allow: /wp-content/themes/*.ico
Allow: /wp-content/themes/*.svg
Allow: /wp-content/themes/*.eot
Allow: /wp-content/themes/*.ttf
Allow: /wp-content/themes/*.woff
Allow: /wp-content/themes/*.woff2
Allow: /wp-content/uploads/
Allow: /u
Allow: /*sitemap*.xml
Disallow: /bin
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/languages
Disallow: /wp-includes
Disallow: *.php
Disallow: *.html
Disallow: *.htm
Disallow: *.shtml
Disallow: *.txt
Disallow: *.xml
Disallow: /author
Disallow: /tag
Disallow: /feed
Disallow: */feed
Disallow: /search
Disallow: */trackback
Disallow: */comment-
Disallow: /*?*
Disallow: /category/uncategorized/
Crawl-delay: 2

User-agent: *
Allow: /
Allow: /wp-includes/css/*.css
Allow: /wp-includes/fonts/*.svg
Allow: /wp-includes/fonts/*.eot
Allow: /wp-includes/fonts/*.ttf
Allow: /wp-includes/fonts/*.woff
Allow: /wp-includes/fonts/*.woff2
Allow: /wp-includes/images/*.jpg
Allow: /wp-includes/images/*.jpeg
Allow: /wp-includes/images/*.gif
Allow: /wp-includes/images/*.png
Allow: /wp-includes/images/*.webp
Allow: /wp-includes/images/*.ico
Allow: /wp-includes/images/*.svg
Allow: /wp-includes/js/*.js
Allow: /wp-includes/js/*.css
Allow: /wp-includes/js/*.jpg
Allow: /wp-includes/js/*.jpeg
Allow: /wp-includes/js/*.gif
Allow: /wp-includes/js/*.png
Allow: /wp-includes/js/*.webp
Allow: /wp-includes/js/*.ico
Allow: /wp-includes/js/*.svg
Allow: /wp-content/plugins/*/*.css
Allow: /wp-content/plugins/*/*.js
Allow: /wp-content/plugins/*/*.jpg
Allow: /wp-content/plugins/*/*.jpeg
Allow: /wp-content/plugins/*/*.gif
Allow: /wp-content/plugins/*/*.png
Allow: /wp-content/plugins/*/*.webp
Allow: /wp-content/plugins/*/*.ico
Allow: /wp-content/plugins/*/*.svg
Allow: /wp-content/plugins/*/*.eot
Allow: /wp-content/plugins/*/*.ttf
Allow: /wp-content/plugins/*/*.woff
Allow: /wp-content/plugins/*/*.woff2
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.jpg
Allow: /wp-content/themes/*.jpeg
Allow: /wp-content/themes/*.gif
Allow: /wp-content/themes/*.png
Allow: /wp-content/themes/*.webp
Allow: /wp-content/themes/*.ico
Allow: /wp-content/themes/*.svg
Allow: /wp-content/themes/*.eot
Allow: /wp-content/themes/*.ttf
Allow: /wp-content/themes/*.woff
Allow: /wp-content/themes/*.woff2
Allow: /wp-content/uploads/
Allow: /u
Allow: /*sitemap*.xml
Disallow: /bin
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/languages
Disallow: /wp-includes
Disallow: *.php
Disallow: *.html
Disallow: *.htm
Disallow: *.shtml
Disallow: *.txt
Disallow: *.xml
Disallow: /author
Disallow: /tag
Disallow: /feed
Disallow: */feed
Disallow: /search
Disallow: */trackback
Disallow: */comment-
Disallow: /*?*
Disallow: /category/uncategorized/
Crawl-delay: 10[/spoiler]
  •  

Sky-fi

#1
23-10-2018, 23:16:34
Интересно, зачем 100500 разрешающих директив для каждого типа файлов, но при этом "Allow: /" в самом верху :)
Я бы снес вообще это недоразумение и залил стандартный вордпрессовский роботс.
  •  

evagrom79Topic starter

#2
24-10-2018, 09:44:06
Цитата: Sky-fi от 23-10-2018, 23:16:34Я бы снес вообще это недоразумение и залил стандартный вордпрессовский роботс.

Ярослав, спасибо за подсказку! Значит, в правильном направлении мыслю)
  •  

maxikk

#3
24-10-2018, 11:49:58
Раз Вордпресс, вот тебе классика:


классический аксес:
Цитировать# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress


Классический роботс:
ЦитироватьUser-agent: *
Disallow: /wp-admin/
Disallow: /author/
Disallow: /?s=

Host: http://site.com.ua/
Sitemap: http://site.com.ua/sitemap.xml

Все просто и без наворотов  8)
Нужна инструкция? качайте на https://instruccija.ru/
  •  

Sky-fi

#4
24-10-2018, 12:22:19
Цитата: maxikk от 24-10-2018, 11:49:58Host: http://site.com.ua/

Хост уже можно не указывать - Яндекс весной отказался от данной директивы.
  •  

PLeoSEM

#5
25-10-2018, 11:20:33
Если для поисковиков нет отдельных (уникальных директив) то можно оставить только User-agent: * 
Директива Allow: / по сути не нужна, так как при отсутствии Disallow: / сайт по умолчанию открыт для индексации.
И если нужно открыть какие либо файлы в папке лучше Allow указывать под ней. Пример :
Disallow: /wp-content
Allow: /*.css
Allow: /*.js
Allow: /*.jpg
Allow: /*.jpeg
Allow: /*.gif
Allow: /*.png
Allow: /*.webp
Allow: /*.ico
Allow: /*.svg
Allow: /*.eot
Allow: /*.ttf
Allow: /*.woff
Allow: /*.woff2

Возьмите стандартный роботс, спарсите сайт и посмотрите что дополнительно вам нужно закрыть.
Разработка сайтов - ВАЙБ
  •  

Sky-fi

#6
25-10-2018, 13:25:33
Цитата: PLeoSEM от 25-10-2018, 11:20:33в папке лучше Allow указывать под ней. Пример

Наведите хоть один аргумент в пользу данного бреда. Хоть сами поняли, что написали?
  •  

vold57

#7
25-10-2018, 13:52:22
evagrom79, похоже, что этот роботс составлял сеошнеГ, который хотел показать заказчику, что тот платит ему не зря.
  •  

evagrom79Topic starter

#8
25-10-2018, 14:07:07
vold57, подозреваю, что так.
Раньше с этим челом работала, сейчас просто нет-нет подсказываю и помогаю, тут он спросил, как можно страницы (пагинацию) скрыть. Решила, что быстрее самой сделать, чем ему объяснять, нырнула в роботс, а там это ??? Я и растерялась с такого обилия всего - сама всегда исхожу из стандартного, добавляя то, что мне нужно, соответственно, половину условий даже не знаю, для чего они.
Выяснилось, что делал кто-то с кворка, как сказал потерпевший, "мальчик молодой, но специалист отличный, массу курсов изучил, общается грамотно" (цитата).
Наверное, школьник, нахватавшийся умных терминов :D
  •  

vold57

#9
25-10-2018, 14:38:09 Последнее редактирование: 25-10-2018, 14:47:55 от vold57
Цитата: evagrom79 от 25-10-2018, 14:07:07спросил, как можно страницы (пагинацию) скрыть.
Это через каноникл лучше сделать. Если запрещать через файл роботс, то по анонсам робот переходить не будет. А с каноникл будет.
  •  
Печать
Вверх Страницы1 2
Действия пользователя

Если вам нравится SbUP Форум, вы можете поддержать его - BTC: bc1qppjcl3c2cyjazy6lepmrv3fh6ke9mxs7zpfky0 , TRC20 и ещё....