Что означают эти строки в Robots.txt ?

Автор Тема: Что означают эти строки в Robots.txt ?  (Прочитано 1718 раз)

Оффлайн wassulmaierАвтор темы

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 77
  • Сообщений: 251
  • Карма: 13
  • Пол: Мужской
    • Мои сайты

Оффлайн wassulmaierАвтор темы

  • Старожил
  • ****
-1
Заметил на одном сайте огромный роботс тхт, но заинтересовали отдельные строки.  Подскажите пожалуйста кто знает.

User-agent: *
Allow: /

Disallow: /news/*?
Disallow: /?area=articles/
Disallow: /links/goto/
Disallow: /pages/*?
Disallow: /catalogue/*?
Развлекательный сайт- http://www.officeplankton.com.ua.


Оффлайн Coder

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 628
  • Сообщений: 971
  • Карма: 47
  • Пол: Мужской
  • Qui dicit eam omnia
    • Coder hol es

Оффлайн Coder

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 628
    • Сообщений: 971
    • Карма: 47
    • Пол: Мужской
    • Qui dicit eam omnia
      • Coder hol es
Re: Что означают эти строки в Robots.txt ?
« Ответ #1 : 31-05-2017, 10:07:12 »
Подскажите пожалуйста кто знает.
_http://robotstxt.org.ru/robotsеxclusion/guide

PS Как они Вас заинтересовали, если непонятно, что написано)


Оффлайн wassulmaierАвтор темы

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 77
  • Сообщений: 251
  • Карма: 13
  • Пол: Мужской
    • Мои сайты

Оффлайн wassulmaierАвтор темы

  • Старожил
  • ****
Re: Что означают эти строки в Robots.txt ?
« Ответ #2 : 31-05-2017, 22:22:53 »
_http://robotstxt.org.ru/robotsеxclusion/guide

PS Как они Вас заинтересовали, если непонятно, что написано)

ДА, мне тоже непонятно. Поэтому и создал тему, думал, что кто-то знает.
Развлекательный сайт- http://www.officeplankton.com.ua.

Оффлайн sidni

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 14
  • Сообщений: 56
  • Карма: 2
    • Альфастрой

Оффлайн sidni

  • Пользователь
  • **
Re: Что означают эти строки в Robots.txt ?
« Ответ #3 : 08-06-2017, 20:37:43 »
Для всех ботов
Разрешен доступ ко всем страницам

Кроме: /news/*?
Кроме: /?area=articles/
Кроме: /links/goto/
Кроме: /pages/*?
Кроме: /catalogue/*?
купить бетон в Харькове и другие стройматериалы

Оффлайн [DiZ]

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 225
  • Сообщений: 1009
  • Карма: 32
  • Пол: Мужской
  • Судьба судьбой, а выбор за тобой!
  • Награды SEO-специалист
    • Сео в помощь

Оффлайн [DiZ]

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 225
    • Сообщений: 1009
    • Карма: 32
    • Пол: Мужской
    • Судьба судьбой, а выбор за тобой!
    • Награды SEO-специалист
      • Сео в помощь
Re: Что означают эти строки в Robots.txt ?
« Ответ #4 : 08-06-2017, 20:42:03 »
Все страницы что Disallow запрещены к посещению робота поисковиков. Как следствие не будут участвовать в выдаче.
Стартовал новый сайт: СЕО в помощь милости просим! ;)


Оффлайн Старый

  • Бизнес оценка: (9, 100%)
  • Мастер
  • *****
  • СПАСИБО: 1714
  • Сообщений: 5567
  • Карма: 159
  • Ищу работу постоянную, удалённую с окладом.
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации

Оффлайн Старый

  • Мастер
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 1714
    • Сообщений: 5567
    • Карма: 159
    • Ищу работу постоянную, удалённую с окладом.
    • Награды Более одной тысячи спасибо КМС поисковой оптимизации
Re: Что означают эти строки в Robots.txt ?
« Ответ #5 : 08-06-2017, 22:07:22 »
wassulmaier, а что конкретно непонятно?  :)


 

Похожие темы

  Тема / Автор Ответов Последний ответ
1 Ответов
1628 Просмотров
Последний ответ 09-10-2012, 16:50:59
от Sevab
9 Ответов
3766 Просмотров
Последний ответ 16-03-2015, 14:33:08
от Barba Agency
1 Ответов
1108 Просмотров
Последний ответ 11-04-2014, 07:49:19
от XeNuM
7 Ответов
3333 Просмотров
Последний ответ 29-12-2017, 18:05:56
от PHP_USER
3 Ответов
813 Просмотров
Последний ответ 16-09-2019, 20:03:43
от Coder