вопрос по robots.txt

Автор Тема: вопрос по robots.txt  (Прочитано 1937 раз)

Оффлайн IzgojАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 4
  • Карма: 0
    • Просмотр профиля

Оффлайн IzgojАвтор темы

  • Дебютант
  • *
вопрос по robots.txt
« : 11-11-2012, 11:36:02 »
Я смотрю тут ни так часто отвечают на вопросы смертных юзеров... Ну может кто ответит...
Ситуация такая... В корневой директории много файлов. К примеру файлы личной почты юзеров, личных настроек юзеров, и тому подобные. При переходе по такому файлу незарегистрированного юзера, его кидает на главную сайта. То есть Робота поисковика, судя по всему тоже будет кидать на главную, при индексации такого файла.
И вот вопрос, будут ли такие файлы для поисковиков выглядеть как дублирующиеся? Закрывать их от индексации? Или они не мешают?
И тут же возникает небольшая проблема. таких файлов в корневой директории достаточно много. И каждый закрыть по отдельности если, получается в robots.txt большой список закрытых файлов. А нельзя ли упрoстить это все? Например сделать запрет индексации всей директории корневой, кроме нужных файлов. То есть ставим запрет на индексацию всего сайта. Но тут же указываем папки, файлы, на которые запрет не распространяется.
Это помогло бы упрoстить написание robots.txt. К примеру у меня в директории файлов и папок более 40. А открыть нужно для поисковиков не более 6-7. Не хочется перечислять списком к закрытию остальные 33.
Сколько читал блогов, не нашел ответа внятного на подобную проблему.


Оффлайн KaZaK

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 294
  • Сообщений: 1471
  • Карма: 71
  • Пол: Мужской
  • Сына изучает SEO, мама довольна:DDD
  • Награды КМС поисковой оптимизации
    • Просмотр профиля
    • Live stream dota 2

Оффлайн KaZaK

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 294
    • Сообщений: 1471
    • Карма: 71
    • Пол: Мужской
    • Сына изучает SEO, мама довольна:DDD
    • Награды КМС поисковой оптимизации
      • Просмотр профиля
      • Live stream dota 2
Re: вопрос по robots.txt
« Ответ #1 : 11-11-2012, 11:41:22 »
Цитировать
К примеру у меня в директории файлов и папок более 40. А открыть нужно для поисковиков не более 6-7. Не хочется перечислять списком к закрытию остальные 33.
Сколько читал блогов, не нашел ответа внятного на подобную проблему.

Все что по вашему мнению не нужно нужно закрыть от ПС в роботсе.


Оффлайн IzgojАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 4
  • Карма: 0
    • Просмотр профиля

Оффлайн IzgojАвтор темы

  • Дебютант
  • *
Re: вопрос по robots.txt
« Ответ #2 : 11-11-2012, 11:58:19 »
Все что по вашему мнению не нужно нужно закрыть от ПС в роботсе.
Это я знаю. Может вы не внимательно прочитал мой вопрос. Я хотел узнать, можно ли упрoстить закрытие ненужного. Не нужно мне порядке 35 файлов и папок. А нужно 5-6. Обычным способом я должен ставить запрет отдельно на все 35 файлов и папок. То есть будет список из 35 строк. А нельзя ли закрыть всю директорию, а допустить только нужные.
грубо говоря в роботсе должна быть так:
ЗАПРЕЩАЕМ ИНДЕКСАЦИЮ НА ВЕСЬ САЙТ
КРОМЕ
 /ПАПКА1/
/ПАПКА2/
/ФАЙЛ.ПХП
/ФАЙЛ2.ПХП



Оффлайн KaZaK

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 294
  • Сообщений: 1471
  • Карма: 71
  • Пол: Мужской
  • Сына изучает SEO, мама довольна:DDD
  • Награды КМС поисковой оптимизации
    • Просмотр профиля
    • Live stream dota 2

Оффлайн KaZaK

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 294
    • Сообщений: 1471
    • Карма: 71
    • Пол: Мужской
    • Сына изучает SEO, мама довольна:DDD
    • Награды КМС поисковой оптимизации
      • Просмотр профиля
      • Live stream dota 2
Re: вопрос по robots.txt
« Ответ #3 : 11-11-2012, 12:05:31 »
Цитировать
А нельзя ли закрыть всю директорию, а допустить только нужные.
грубо говоря в роботсе должна быть так:
ЗАПРЕЩАЕМ ИНДЕКСАЦИЮ НА ВЕСЬ САЙТ
КРОМЕ
 /ПАПКА1/
/ПАПКА2/
/ФАЙЛ.ПХП
/ФАЙЛ2.ПХП


В общем так:

Например через фтп когда заходишь там показывает например 7 папок(движок сайта, шаблоны, и прочее) и из этих 7 папок нам нужно закрыть 5.

В роботсе указываем имена этих папок.

Но есть одно но

Если в папке которую нужно закрыть находится нужный файл то эту папку закрывать не нужно потому как файл не будет индексироваться или как вариант перенести в главную директорию(главная страница ФТП).

Цитировать
ЗАПРЕЩАЕМ ИНДЕКСАЦИЮ НА ВЕСЬ САЙТ
КРОМЕ
 /ПАПКА1/
/ПАПКА2/
/ФАЙЛ.ПХП
/ФАЙЛ2.ПХП

Если ты хочешь сказать что роботс.ткст будет выглядеть так:

User-agent: Robot9ga
Allow: /ПАПКА1/
Allow:  /ПАПКА2/
Allow:  /ФАЙЛ.ПХП
Allow:  /ФАЙЛ2.ПХП


Не получится.
Все равно будут те папки индексироваться.
Единственный вариант все 35 папок запретить.


На весь сайт если запретить строка

Disallow: /

То сайт не будет индексироваться вместе со всем что там есть.

Оффлайн IzgojАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 4
  • Карма: 0
    • Просмотр профиля

Оффлайн IzgojАвтор темы

  • Дебютант
  • *
Re: вопрос по robots.txt
« Ответ #4 : 11-11-2012, 12:23:17 »
То есть например такой вариант ничего не дает?

User-agent: *
Disallow: /        запрещает как бы все
 кроме
Allow: /папка1/
Allow: /папка2/
Allow: /файл1
Allow: /файл2


Оффлайн DmitriyM

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 73
  • Сообщений: 321
  • Карма: 13
    • Просмотр профиля

Оффлайн DmitriyM

  • Старожил
  • ****
Re: вопрос по robots.txt
« Ответ #5 : 11-11-2012, 12:36:24 »
То есть например такой вариант ничего не дает?

User-agent: *
Disallow: /        запрещает как бы все
 кроме
Allow: /папка1/
Allow: /папка2/
Allow: /файл1
Allow: /файл2

Насколько я помню, поисковые системы такой вариант принимают.
Но с другой стороны, что вам мешает для незарегистрированных сделать 301 редирект на главную?

Оффлайн IzgojАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 4
  • Карма: 0
    • Просмотр профиля

Оффлайн IzgojАвтор темы

  • Дебютант
  • *
Re: вопрос по robots.txt
« Ответ #6 : 11-11-2012, 13:29:08 »
Насколько я помню, поисковые системы такой вариант принимают.
Но с другой стороны, что вам мешает для незарегистрированных сделать 301 редирект на главную?
Каким образом на ненужные папки файлы можно сделать редирект 301? Опять же прописывать 301 редирект для кжгого файла и для каждой папки?

Оффлайн DmitriyM

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 73
  • Сообщений: 321
  • Карма: 13
    • Просмотр профиля

Оффлайн DmitriyM

  • Старожил
  • ****
Re: вопрос по robots.txt
« Ответ #7 : 11-11-2012, 19:36:00 »
При переходе по такому файлу незарегистрированного юзера, его кидает на главную сайта.

Это означает, что список файлов вам известен и перекидывание идёт. Так вот, если сделать перекидывание 301 редиректом, то будет все в порядке и без дополнительных директив в robots.txt


 

Похожие темы

  Тема / Автор Ответов Последний ответ
2 Ответов
1391 Просмотров
Последний ответ 07-06-2011, 22:13:04
от Andy27
8 Ответов
2060 Просмотров
Последний ответ 08-01-2013, 20:47:11
от Exitoso
1 Ответов
1200 Просмотров
Последний ответ 22-09-2013, 23:38:17
от bas
21 Ответов
4510 Просмотров
Последний ответ 06-03-2015, 12:04:54
от Barba Agency
5 Ответов
1042 Просмотров
Последний ответ 21-10-2015, 07:33:59
от Sky-fi