вопрос по robots.txt

[Izgoj]

Я смотрю тут ни так часто отвечают на вопросы смертных юзеров... Ну может кто ответит...
Ситуация такая... В корневой директории много файлов. К примеру файлы личной почты юзеров, личных настроек юзеров, и тому подобные. При переходе по такому файлу незарегистрированного юзера, его кидает на главную сайта. То есть Робота поисковика, судя по всему тоже будет кидать на главную, при индексации такого файла.
И вот вопрос, будут ли такие файлы для поисковиков выглядеть как дублирующиеся? Закрывать их от индексации? Или они не мешают?
И тут же возникает небольшая проблема. таких файлов в корневой директории достаточно много. И каждый закрыть по отдельности если, получается в robots.txt большой список закрытых файлов. А нельзя ли упрoстить это все? Например сделать запрет индексации всей директории корневой, кроме нужных файлов. То есть ставим запрет на индексацию всего сайта. Но тут же указываем папки, файлы, на которые запрет не распространяется.
Это помогло бы упрoстить написание robots.txt. К примеру у меня в директории файлов и папок более 40. А открыть нужно для поисковиков не более 6-7. Не хочется перечислять списком к закрытию остальные 33.
Сколько читал блогов, не нашел ответа внятного на подобную проблему.

[KaZaK]

К примеру у меня в директории файлов и папок более 40. А открыть нужно для поисковиков не более 6-7. Не хочется перечислять списком к закрытию остальные 33.
Сколько читал блогов, не нашел ответа внятного на подобную проблему.

Все что по вашему мнению не нужно нужно закрыть от ПС в роботсе.

[Izgoj]

Все что по вашему мнению не нужно нужно закрыть от ПС в роботсе.

Это я знаю. Может вы не внимательно прочитал мой вопрос. Я хотел узнать, можно ли упрoстить закрытие ненужного. Не нужно мне порядке 35 файлов и папок. А нужно 5-6. Обычным способом я должен ставить запрет отдельно на все 35 файлов и папок. То есть будет список из 35 строк. А нельзя ли закрыть всю директорию, а допустить только нужные.
грубо говоря в роботсе должна быть так:
ЗАПРЕЩАЕМ ИНДЕКСАЦИЮ НА ВЕСЬ САЙТ
КРОМЕ
/ПАПКА1/
/ПАПКА2/
/ФАЙЛ.ПХП
/ФАЙЛ2.ПХП

[KaZaK]

А нельзя ли закрыть всю директорию, а допустить только нужные.
грубо говоря в роботсе должна быть так:
ЗАПРЕЩАЕМ ИНДЕКСАЦИЮ НА ВЕСЬ САЙТ
КРОМЕ
/ПАПКА1/
/ПАПКА2/
/ФАЙЛ.ПХП
/ФАЙЛ2.ПХП

В общем так:

Например через фтп когда заходишь там показывает например 7 папок(движок сайта, шаблоны, и прочее) и из этих 7 папок нам нужно закрыть 5.

В роботсе указываем имена этих папок.

Но есть одно но

Если в папке которую нужно закрыть находится нужный файл то эту папку закрывать не нужно потому как файл не будет индексироваться или как вариант перенести в главную директорию(главная страница ФТП).

ЗАПРЕЩАЕМ ИНДЕКСАЦИЮ НА ВЕСЬ САЙТ
КРОМЕ
/ПАПКА1/
/ПАПКА2/
/ФАЙЛ.ПХП
/ФАЙЛ2.ПХП

Если ты хочешь сказать что роботс.ткст будет выглядеть так:

User-agent: Robot9ga
Allow: /ПАПКА1/
Allow:  /ПАПКА2/
Allow:  /ФАЙЛ.ПХП
Allow:  /ФАЙЛ2.ПХП

Не получится.
Все равно будут те папки индексироваться.
Единственный вариант все 35 папок запретить.


На весь сайт если запретить строка

Disallow: /

То сайт не будет индексироваться вместе со всем что там есть.

[Izgoj]

То есть например такой вариант ничего не дает?

User-agent: *
Disallow: /        запрещает как бы все
кроме
Allow: /папка1/
Allow: /папка2/
Allow: /файл1
Allow: /файл2

[DmitriyM]

То есть например такой вариант ничего не дает?

User-agent: *
Disallow: /        запрещает как бы все
кроме
Allow: /папка1/
Allow: /папка2/
Allow: /файл1
Allow: /файл2

Насколько я помню, поисковые системы такой вариант принимают.
Но с другой стороны, что вам мешает для незарегистрированных сделать 301 редирект на главную?

[Izgoj]

Насколько я помню, поисковые системы такой вариант принимают.
Но с другой стороны, что вам мешает для незарегистрированных сделать 301 редирект на главную?

Каким образом на ненужные папки файлы можно сделать редирект 301? Опять же прописывать 301 редирект для кжгого файла и для каждой папки?

[DmitriyM]

При переходе по такому файлу незарегистрированного юзера, его кидает на главную сайта.

Это означает, что список файлов вам известен и перекидывание идёт. Так вот, если сделать перекидывание 301 редиректом, то будет все в порядке и без дополнительных директив в robots.txt