Robots WP

[Роберт]

Много где читал рекомендации по созданию роботс для сайтов на WP, и почти везде рекомендуют закрывать папки типа
/wp-content/plugins
/wp-content/themes и т.д.
И сначала я прислушивался к таким рекомендациям. А вот сейчас задаюсь вопросом: насколько это оправдано и необходимо? Ведь поисковики не видят стили css и скрипты в закрытых папках, на что гугл например ругается при скaнировании. Может все-таки стоит разрешить роботам скaнировать эти папки?

[DOleg]

А зачем включать в индекс скрипты и стили? Это мусор, которого в индексе быть не должно.
В индекс должна попадать только полезная и необходимая информация (текст, картинки...) и без дублирования (поиск, сортировка...).
Хотя некоторые особо не парятся, указывают в роботсе только хост и ссылку на карту и всё у них Ок