Как управлять поисковыми (и не только) ботами?

Автор Тема: Как управлять поисковыми (и не только) ботами?  (Прочитано 1211 раз)

Оффлайн ActorComplektАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 364
  • Сообщений: 927
  • Карма: 31
  • Комплексное снабжение и поставки http://snabset.ru
    • Комплексное снабжение предприятий и организаций

Оффлайн ActorComplektАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 364
    • Сообщений: 927
    • Карма: 31
    • Комплексное снабжение и поставки http://snabset.ru
      • Комплексное снабжение предприятий и организаций
Добрый день!

Есть проблема - в некоторые дни начинается массовый набег на мои сайты всяких там ботов - это само по себе хорошо, индексируют сайты.

Проблема встает, когда они это начинают делать все вместе и непредсказуемо.
В эти моменты начинает жаловаться хостинг провайдер, что мои сайты сильно нагружают CPU сервера.

Вопрос - можно-ли как-то управлять временем/частотой набега поисковых ботов? Может им можно расписание задать?
snabset.ru - снабжение предприятий комплексное
actorc.ru - купить спецодежду


Оффлайн Sky-fi

  • Глобальный модератор
  • Бизнес оценка: (9, 100%)
  • *****
  • СПАСИБО: 3781
  • Сообщений: 5408
  • Карма: 333
  • Пол: Мужской
  • Раскрутка сайтов
  • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
    • Частный SEO оптимизатор Sky-fi

Оффлайн Sky-fi

  • Глобальный модератор
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 3781
    • Сообщений: 5408
    • Карма: 333
    • Пол: Мужской
    • Раскрутка сайтов
    • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
      • Частный SEO оптимизатор Sky-fi
Попробуйте Crawl-delay использовать.

Оффлайн ActorComplektАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 364
  • Сообщений: 927
  • Карма: 31
  • Комплексное снабжение и поставки http://snabset.ru
    • Комплексное снабжение предприятий и организаций

Оффлайн ActorComplektАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 364
    • Сообщений: 927
    • Карма: 31
    • Комплексное снабжение и поставки http://snabset.ru
      • Комплексное снабжение предприятий и организаций
Попробуйте Crawl-delay использовать.

Да, попробую. Но этот оператор насколько мне известно только Яндекс воспринимает.
А для других поисковиков есть механизм?
snabset.ru - снабжение предприятий комплексное
actorc.ru - купить спецодежду

Онлайн tartaren

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 130
  • Сообщений: 423
  • Карма: 8
  • Награды SEO-специалист

Онлайн tartaren

  • Старожил
  • ****
Вот это не подойдёт?

Оффлайн ActorComplektАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 364
  • Сообщений: 927
  • Карма: 31
  • Комплексное снабжение и поставки http://snabset.ru
    • Комплексное снабжение предприятий и организаций

Оффлайн ActorComplektАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 364
    • Сообщений: 927
    • Карма: 31
    • Комплексное снабжение и поставки http://snabset.ru
      • Комплексное снабжение предприятий и организаций
Вот это не подойдёт?

О, интересный ход. Изучу эту возможность - большое спасибо!
snabset.ru - снабжение предприятий комплексное
actorc.ru - купить спецодежду


Оффлайн Sky-fi

  • Глобальный модератор
  • Бизнес оценка: (9, 100%)
  • *****
  • СПАСИБО: 3781
  • Сообщений: 5408
  • Карма: 333
  • Пол: Мужской
  • Раскрутка сайтов
  • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
    • Частный SEO оптимизатор Sky-fi

Оффлайн Sky-fi

  • Глобальный модератор
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 3781
    • Сообщений: 5408
    • Карма: 333
    • Пол: Мужской
    • Раскрутка сайтов
    • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
      • Частный SEO оптимизатор Sky-fi
О, интересный ход
Потом будет кто-то вроде сеошника вашего, сканировать сайт, и плеваться. А никто уже и не вспомнит, почему постоянно обрывается связь с сервером...

Для гугла можно использовать вот это, зачем танцы с бубном:


 

Похожие темы

  Тема / Автор Ответов Последний ответ
4 Ответов
4885 Просмотров
Последний ответ 20-08-2012, 14:54:55
от aeros
5 Ответов
2799 Просмотров
Последний ответ 23-08-2012, 15:08:25
от ewdokimow
20 Ответов
7400 Просмотров
Последний ответ 19-05-2014, 11:59:36
от Choice
7 Ответов
1779 Просмотров
Последний ответ 25-08-2015, 11:44:27
от bumer
3 Ответов
1022 Просмотров
Последний ответ 17-02-2016, 14:32:24
от vold57