Что означают эти строки в Robots.txt ?

Автор wassulmaier, 31-05-2017, 09:46:07

« назад - далее »

wassulmaierTopic starter

Заметил на одном сайте огромный роботс тхт, но заинтересовали отдельные строки.  Подскажите пожалуйста кто знает.

User-agent: *
Allow: /

Disallow: /news/*?
Disallow: /?area=articles/
Disallow: /links/goto/
Disallow: /pages/*?
Disallow: /catalogue/*?
Развлекательный сайт- http://www.officeplankton.com.ua.
  •  


Coder

Цитата: wassulmaier от 31-05-2017, 09:46:07Подскажите пожалуйста кто знает.
_http://robotstxt.org.ru/robotsеxclusion/guide

PS Как они Вас заинтересовали, если непонятно, что написано)



wassulmaierTopic starter

Цитата: Coder от 31-05-2017, 10:07:12
_http://robotstxt.org.ru/robotsеxclusion/guide

PS Как они Вас заинтересовали, если непонятно, что написано)

ДА, мне тоже непонятно. Поэтому и создал тему, думал, что кто-то знает.
Развлекательный сайт- http://www.officeplankton.com.ua.
  •  

sidni

Для всех ботов
Разрешен доступ ко всем страницам

Кроме: /news/*?
Кроме: /?area=articles/
Кроме: /links/goto/
Кроме: /pages/*?
Кроме: /catalogue/*?
купить бетон в Харькове и другие стройматериалы
  •  

[DiZ]

Все страницы что Disallow запрещены к посещению робота поисковиков. Как следствие не будут участвовать в выдаче.
Стартовал новый сайт: СЕО в помощь милости просим! ;)
  •  


Старый

wassulmaier, а что конкретно непонятно?  :)