Посоветуйте правильный robots.txt

[sigma]

Здравствуйте. У меня на блоке такой robots.txt.
User-agent: *

Disallow: /cgi-bin

Disallow: /downloads

Disallow: /wp-includes/

Disallow: /wp-feed

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-content/cache

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /20*

Disallow: */page/*

Sitemap: http://домен/sitemap.xml

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /downloads

Disallow: /wp-includes/

Disallow: /wp-feed

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-content/cache

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /20*

Disallow: */page/*

Host: домен

Меня он не устраивает - проблемы с индексацией, хотя дублей не наблюдаются и все же в Google trobots.xt сайта не позволяет проскaнировать некоторые ресурсы, от этого соответственно достаточное количество заблoкированных ресурсов. Посоветуйте что убрать или дополнить или вообще поменять файл trobots.xt. Благодарю за ранее.

[TSK]

Я вообще использую на WP более простой роботс. Вот такой, с индексацией нет никаких проблем:

User-agent: *
Allow: /wp-content/uploads
Disallow: */comment-page-*
Disallow: */comments
Disallow: */feed
Disallow: */trackback
Disallow: /*?
Disallow: /?feed=
Disallow: /?s=
Disallow: /author
Disallow: /cgi-bin
Disallow: /comments
Disallow: /page
Disallow: /search
Disallow: /tag
Disallow: /trackback
Disallow: /webstat
Disallow: /wp-admin
Disallow: /wp-comments
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-trackback
Disallow: /xmlrpc.php
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

У вас некоторых директив не хватает, а некоторые наоборот лишние. Кстати, не заметил положительного эффекта при прописывании инструкций всем роботам и Яндексу отдельно. Достаточно общих правил.

[ProtectYourSite]

Тут не хватает разрешений на стили, скрипты и зобрадения тем и плагинов, поисковики хотят сейчас видеть всю страницу. Посмотрите, в каких папка блоикруется и добавьте в индекс, или можно использовать более универсальные строки

Код Выделить Развернуть

Allow: /wp-content/*.js
Allow: /wp-content/*.css
Да и к системных php файлам лучше запрещать доступ через htaccess, а не привлекать внимание через robots.txt

[sigma]

Спасибо огромное коллегам за неоценимую помощь! В благодарность плюсану в карму!