Закрытие сайта от роботов - парсеров

Автор Тема: Закрытие сайта от роботов - парсеров  (Прочитано 1246 раз)

Оффлайн NoconnectАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 2
  • Сообщений: 45
  • Карма: 2
  • Пол: Мужской
  • Награды SEO-специалист
    • Просмотр профиля

Оффлайн NoconnectАвтор темы

  • Рекрут
  • *
Кто подскажет, как закрыть сайт от роботов разных сервисов анализа и прочих парсеров? Поставить всё в Disallow и открыть только в robots для нужных мне ПС?


Оффлайн Coder

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 567
  • Сообщений: 866
  • Карма: 45
  • Пол: Мужской
  • Qui dicit eam omnia
    • Просмотр профиля
    • Coder hol es

Оффлайн Coder

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 567
    • Сообщений: 866
    • Карма: 45
    • Пол: Мужской
    • Qui dicit eam omnia
      • Просмотр профиля
      • Coder hol es
Поставить всё в Disallow и открыть только в robots для нужных мне ПС?
Можно так, а можно поставить скрипт, определяющий чрезмерную активность непрописанных явно роботов - грузят они и "нагло" ведут, как правило - тогда автобан по ip.


Оффлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5007
  • Сообщений: 6843
  • Карма: 276
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • Просмотр профиля
    • SEO, интернет-маркетинг, сайостроение

Оффлайн vold57

  • Мастер
  • *****
Не думаю, что "прочие парсеры" будут обращать внимание на Disallow в роботсе.

Оффлайн alexburn

  • Бизнес оценка: (1, 100%)
  • КМС
  • *****
  • СПАСИБО: 1056
  • Сообщений: 3375
  • Карма: 72
  • Пол: Мужской
  • Нужна прога для компа?
    • Просмотр профиля
    • Прикладные программы на заказ

Оффлайн alexburn

  • КМС
  • *****
  • Доп. информация
    • Бизнес оценка: (1, 100%)
    • СПАСИБО: 1056
    • Сообщений: 3375
    • Карма: 72
    • Пол: Мужской
    • Нужна прога для компа?
      • Просмотр профиля
      • Прикладные программы на заказ
Не думаю, что "прочие парсеры" будут обращать внимание на Disallow в роботсе.
Как правило парсеры вообще не смотрят на robots  :-X

Оффлайн Coder

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 567
  • Сообщений: 866
  • Карма: 45
  • Пол: Мужской
  • Qui dicit eam omnia
    • Просмотр профиля
    • Coder hol es

Оффлайн Coder

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 567
    • Сообщений: 866
    • Карма: 45
    • Пол: Мужской
    • Qui dicit eam omnia
      • Просмотр профиля
      • Coder hol es
Как правило парсеры вообще не смотрят
Народ, ну что вы придираетесь - не помешает поставить? - не помешает, + еще что.



Оффлайн NoconnectАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 2
  • Сообщений: 45
  • Карма: 2
  • Пол: Мужской
  • Награды SEO-специалист
    • Просмотр профиля

Оффлайн NoconnectАвтор темы

  • Рекрут
  • *
А директив никаких нет на этот случай, на подобии nofollow или ещё что то для ограничения парсеров?

Оффлайн alexburn

  • Бизнес оценка: (1, 100%)
  • КМС
  • *****
  • СПАСИБО: 1056
  • Сообщений: 3375
  • Карма: 72
  • Пол: Мужской
  • Нужна прога для компа?
    • Просмотр профиля
    • Прикладные программы на заказ

Оффлайн alexburn

  • КМС
  • *****
  • Доп. информация
    • Бизнес оценка: (1, 100%)
    • СПАСИБО: 1056
    • Сообщений: 3375
    • Карма: 72
    • Пол: Мужской
    • Нужна прога для компа?
      • Просмотр профиля
      • Прикладные программы на заказ
А директив никаких нет на этот случай, на подобии nofollow или ещё что то для ограничения парсеров?
Для парсера одно ограничение - по IP или заголовкам, и все.

Оффлайн ВикторияИ

  • Бизнес оценка: (0)
  • КМС
  • *****
  • СПАСИБО: 3061
  • Сообщений: 4108
  • Карма: 191
  • и да прибудет с Вами Сила.
  • Награды Автор самой интересной темы Более одной тысячи спасибо КМС поисковой оптимизации
    • Просмотр профиля
    • Заказ автобуса в Одессе
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 3061
    • Сообщений: 4108
    • Карма: 191
    • и да прибудет с Вами Сила.
    • Награды Автор самой интересной темы Более одной тысячи спасибо КМС поисковой оптимизации
      • Просмотр профиля
      • Заказ автобуса в Одессе
Для парсера одно ограничение - по IP или заголовкам, и все.

а по заголовкам это как?

Оффлайн alexburn

  • Бизнес оценка: (1, 100%)
  • КМС
  • *****
  • СПАСИБО: 1056
  • Сообщений: 3375
  • Карма: 72
  • Пол: Мужской
  • Нужна прога для компа?
    • Просмотр профиля
    • Прикладные программы на заказ

Оффлайн alexburn

  • КМС
  • *****
  • Доп. информация
    • Бизнес оценка: (1, 100%)
    • СПАСИБО: 1056
    • Сообщений: 3375
    • Карма: 72
    • Пол: Мужской
    • Нужна прога для компа?
      • Просмотр профиля
      • Прикладные программы на заказ
а по заголовкам это как?
Блокировать "не стандартные" заголовки. Начинающие кодеры иногда "забывают" переделывать заголовок - Agent и там иногда пишется всякая другая информация, а не инфа о браузере.


Оффлайн tartaren

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 119
  • Сообщений: 391
  • Карма: 6
  • Награды SEO-специалист
    • Просмотр профиля

Оффлайн tartaren

  • Старожил
  • ****


 

Похожие темы