К чему приводит показ содержимого каталогов на сервере

[4X_Pro]

Пару месяцев назад столкнулся с одной очень неприятной особенностью Google, о которой решил рассказать, чтобы другие не наткнулись на подобную проблему. У меня на хостинге по умолчанию был разрешен показ содержимого каталогов (опция Options +Indexes), но я об этом не знал, пока не заинтересовался вопросом, почему у меня в Google число проиндексированных страниц существенно больше реального количества материала на сайте.Сначала думал, дубли вылезли, но потом выяснилось, что Google каким-то образом нашел и проиндексировал содержимое всех служебных каталогов (в частности, тех, в которых лежали шаблоны для CMS). Стал думать, как он мог их найти (ссылок с главной, естественно, на них не было), и пришел к выводу, что Google берет пути к CSS и JavaScript на сайте, и просматривает каталоги в пути к ним (то есть если стилевой файл лежит в /styles/typ2/style.css, Google заглянет и в каталоги /styles и /styles/typ2).
Думаю, куча проиндексированного мусора на позиции сайта влияла не самым лучшим образом.
В общем, вывод такой: во-первых, нужно всегда проверять, выключены ли Indexes, во-вторых, закрывать в robots.txt служебные каталоги даже в тех случаях, когда ссылок на сайте на них нет и поэтому они вроде бы они индексироваться не должны.