что означают строчки в Robots.txt

Автор Ivanushkka, 05-12-2013, 22:06:27

« назад - далее »

IvanushkkaTopic starter

Уважаемые форумчане, опишите пожалуйста каждую строчку в этом Robots.txt. Просто не понимаю зачем присутствуют некоторые строки.

Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: /xmlrpc.php
Disallow: /?replytocom
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /goto/
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
  •  


Zahar

Странно для человека, имеющего сеоблог,
спрашивать о таких элементарных вещах.
  •  


IvanushkkaTopic starter

Цитата: Zahar от 05-12-2013, 22:10:18
Странно для человека, имеющего сеоблог,
спрашивать о таких элементарных вещах.

Интересно услышать ваше мнение и не более того. Есть сомнения в назначении некоторых строк и правильная работа одних без других.
  •  

MrViper

Ivanushkka, Disallow запрещает индексацию страницы которые прописаны дальше
Disallow: /wp-login.php запрещает индексацию страницы вашсайт/wp-login.php
Disallow: /webstat/ ваш сайт/webstat/какая то страница и так далее
Disallow: /*?* это запрещает к индексации страницы где находится знак вопроса например вашсайт/p_?/1
Почитайте на досуге http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

Cyrus

Ivаnushkka, эти 2 правила одинаковые:

Disallow: /*?*
Disallow: /*?

По умолчанию ко всем правилам подставляется на конце *
Они ещё и Disallow: /?replytocom собой закрывают уже, строчка становится ненужной.

Эти тоже почти одно и тоже делают:

Disallow: /trackback
Disallow: */trackback

Второе и так запрещает первое уже. Можно прописать ещё как Disallow: /*trackback, если в урлах нету trackback нигде, кроме нужных к запрету.

Не видя сайта я бы запретил сразу так: Disallow: /wp-content/, так как там все равно все относящееся к движку лежит, но и картинки, картинки бы я разрешил Allow: /wp-content/uploads или какая другая папка. А так, надо сайт смотреть живой, чтобы сказать точно, что нужное, а что нет. Набираешь страниц для проверки и сюда - http://webmaster.yandex.ru/robots.xml и понятно, что правильно запретил, а что нет.
  •  


IvanushkkaTopic starter

Цитата: Cyrus от 06-12-2013, 09:32:29
Ivаnushkka, эти 2 правила одинаковые:

Disallow: /*?*
Disallow: /*?

По умолчанию ко всем правилам подставляется на конце *
Они ещё и Disallow: /?replytocom собой закрывают уже, строчка становится ненужной.

Эти тоже почти одно и тоже делают:

Disallow: /trackback
Disallow: */trackback

Второе и так запрещает первое уже. Можно прописать ещё как Disallow: /*trackback, если в урлах нету trackback нигде, кроме нужных к запрету.

Не видя сайта я бы запретил сразу так: Disallow: /wp-content/, так как там все равно все относящееся к движку лежит, но и картинки, картинки бы я разрешил Allow: /wp-content/uploads или какая другая папка. А так, надо сайт смотреть живой, чтобы сказать точно, что нужное, а что нет. Набираешь страниц для проверки и сюда - http://webmaster.yandex.ru/robots.xml и понятно, что правильно запретил, а что нет.


Немного смущает правило: Disallow: /category/*/* . Подскажите, что на ваш взгляд запрещает часть */*  ????

В Вебмастер.Яндекс все проверял, указывает без ошибок. Интересует объяснение некоторых строчек.

К примеру вот эти два правила, периодически, друг без друга работают не корректно:

Disallow: /*?*
Disallow: /*?
  •  

Cyrus

Цитата: Ivanushkka от 06-12-2013, 10:22:17
Немного смущает правило: Disallow: /category/*/* . Подскажите, что на ваш взгляд запрещает часть */*  ????

В Вебмастер.Яндекс все проверял, указывает без ошибок. Интересует объяснение некоторых строчек.

К примеру вот эти два правила, периодически, друг без друга работают не корректно:

Disallow: /*?*
Disallow: /*?

По второму вопросу, про Disallow: /*?, странно, это одинаковые правила так как Disallow: /*? = Disallow: /*?*, можете привести урлы где некорректно срабатывают?

Disallow: /category/*/* скорее всего равно правилу Disallow: /category/, так как Disallow: /category/ запретит все подкатегории, в том числе и */*. На мой взгляд, Disallow: /category/*/* запрещает все подкатегории сайта имеющие в себе category, site.ru/category/любой урл
  •  

Egor2014

У меня тоже вопрос! Команда Disallow: /services/*?* я так понимаю разрешает доступ в каталог /services/, но запрещает индексировать все те страницы, где есть знак "?". Пример: сайт.ru/services/detail.php?ID=68. В данном случае каталог /services/ открыт, но хвосты /detail.php?ID=68 закрыты. Так ли это?
  •  


Zahar

Цитата: kharenko от 16-01-2015, 14:03:20
У меня тоже вопрос! Команда Disallow: /services/*?* я так понимаю разрешает доступ в каталог /services/, но запрещает индексировать все те страницы, где есть знак "?". Пример: сайт.ru/services/detail.php?ID=68. В данном случае каталог /services/ открыт, но хвосты /detail.php?ID=68 закрыты. Так ли это?

верно, юзайте анализатор https://webmaster.yandex.ru/robots.xml
  •  


Barba Agency

заходите в инстурменты webmastera яндекса или гугла, там есть средство проверки файла rtobots.txt.
Вводите ссылку на свой роботс, потом в поле прописываете урлы для проверки, и вам показывают, к какому правилу относится тот или инной запрет, если он есть;
у гугла это в интерактивной форме еще сделано
Комплексные услуги: Разработка сайтов, верстка макетов, веб-сервисы и порталы.
  •