Как управлять поисковыми (и не только) ботами?

« предыдущая тема следующая тема »
Страниц: [1]   Вниз

Автор Тема: Как управлять поисковыми (и не только) ботами?  (Прочитано 1302 раз)

Оффлайн ActorComplektАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 386
  • Сообщений: 980
  • Карма: 31
  • Комплексное снабжение и поставки http://snabset.ru
    • Комплексное снабжение предприятий и организаций

Оффлайн ActorComplektАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 386
    • Сообщений: 980
    • Карма: 31
    • Комплексное снабжение и поставки http://snabset.ru
      • Комплексное снабжение предприятий и организаций
Как управлять поисковыми (и не только) ботами?
« : 25-08-2016, 17:45:03 »
Добрый день!

Есть проблема - в некоторые дни начинается массовый набег на мои сайты всяких там ботов - это само по себе хорошо, индексируют сайты.

Проблема встает, когда они это начинают делать все вместе и непредсказуемо.
В эти моменты начинает жаловаться хостинг провайдер, что мои сайты сильно нагружают CPU сервера.

Вопрос - можно-ли как-то управлять временем/частотой набега поисковых ботов? Может им можно расписание задать?
Записан
snabset.ru - снабжение предприятий комплексное
actorc.ru - купить спецодежду

Оффлайн Sky-fi

  • Глобальный модератор
  • Бизнес оценка: (9, 100%)
  • *****
  • СПАСИБО: 3781
  • Сообщений: 5409
  • Карма: 333
  • Пол: Мужской
  • Раскрутка сайтов
  • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
    • Частный SEO оптимизатор Sky-fi

Оффлайн Sky-fi

  • Глобальный модератор
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 3781
    • Сообщений: 5409
    • Карма: 333
    • Пол: Мужской
    • Раскрутка сайтов
    • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
      • Частный SEO оптимизатор Sky-fi
Re: Как управлять поисковыми (и не только) ботами?
« Ответ #1 : 25-08-2016, 19:16:59 »
Попробуйте Crawl-delay использовать.
Записан

Оффлайн ActorComplektАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 386
  • Сообщений: 980
  • Карма: 31
  • Комплексное снабжение и поставки http://snabset.ru
    • Комплексное снабжение предприятий и организаций

Оффлайн ActorComplektАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 386
    • Сообщений: 980
    • Карма: 31
    • Комплексное снабжение и поставки http://snabset.ru
      • Комплексное снабжение предприятий и организаций
Re: Как управлять поисковыми (и не только) ботами?
« Ответ #2 : 25-08-2016, 19:22:06 »
Цитата: Sky-fi от 25-08-2016, 19:16:59
Попробуйте Crawl-delay использовать.

Да, попробую. Но этот оператор насколько мне известно только Яндекс воспринимает.
А для других поисковиков есть механизм?
Записан
snabset.ru - снабжение предприятий комплексное
actorc.ru - купить спецодежду

Онлайн tartaren

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 142
  • Сообщений: 454
  • Карма: 9
  • Награды SEO-специалист

Онлайн tartaren

  • Старожил
  • ****
Re: Как управлять поисковыми (и не только) ботами?
« Ответ #3 : 26-08-2016, 01:00:05 »
Вот это не подойдёт?
Записан

Оффлайн ActorComplektАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 386
  • Сообщений: 980
  • Карма: 31
  • Комплексное снабжение и поставки http://snabset.ru
    • Комплексное снабжение предприятий и организаций

Оффлайн ActorComplektАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 386
    • Сообщений: 980
    • Карма: 31
    • Комплексное снабжение и поставки http://snabset.ru
      • Комплексное снабжение предприятий и организаций
Re: Как управлять поисковыми (и не только) ботами?
« Ответ #4 : 26-08-2016, 11:37:57 »
Цитата: tartaren от 26-08-2016, 01:00:05
Вот это не подойдёт?

О, интересный ход. Изучу эту возможность - большое спасибо!
Записан
snabset.ru - снабжение предприятий комплексное
actorc.ru - купить спецодежду

Оффлайн Sky-fi

  • Глобальный модератор
  • Бизнес оценка: (9, 100%)
  • *****
  • СПАСИБО: 3781
  • Сообщений: 5409
  • Карма: 333
  • Пол: Мужской
  • Раскрутка сайтов
  • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
    • Частный SEO оптимизатор Sky-fi

Оффлайн Sky-fi

  • Глобальный модератор
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 3781
    • Сообщений: 5409
    • Карма: 333
    • Пол: Мужской
    • Раскрутка сайтов
    • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
      • Частный SEO оптимизатор Sky-fi
Re: Как управлять поисковыми (и не только) ботами?
« Ответ #5 : 31-08-2016, 03:03:40 »
Цитата: ActorComplekt от 26-08-2016, 11:37:57
О, интересный ход
Потом будет кто-то вроде сеошника вашего, сканировать сайт, и плеваться. А никто уже и не вспомнит, почему постоянно обрывается связь с сервером...

Для гугла можно использовать вот это, зачем танцы с бубном:
Записан
Страниц: [1]   Вверх
« предыдущая тема следующая тема »
 

Похожие темы

  Тема / Автор Ответов Последний ответ
4 Ответов
4978 Просмотров 		Последний ответ 20-08-2012, 14:54:55
от aeros
5 Ответов
2835 Просмотров 		Последний ответ 23-08-2012, 15:08:25
от ewdokimow
20 Ответов
7727 Просмотров 		Последний ответ 19-05-2014, 11:59:36
от Choice
7 Ответов
1807 Просмотров 		Последний ответ 25-08-2015, 11:44:27
от bumer
3 Ответов
1093 Просмотров 		Последний ответ 17-02-2016, 14:32:24
от vold57