Боты AppleWebKit/605.1.15 и AppleWebKit/537.36

Автор Тема: Боты AppleWebKit/605.1.15 и AppleWebKit/537.36  (Прочитано 2415 раз)

Оффлайн Вадим КостинАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 178
  • Сообщений: 679
  • Карма: 42
  • Пол: Мужской
  • Награды SEO-специалист продвинутого уровня

Оффлайн Вадим КостинАвтор темы

  • Ветеран
  • *****
Всем привет! Не нашел в каком разделе создать тему, поэтому решил создать в этой ветке.


В последние 1 - 1.5 недели заметил на инфо сайте много прямых заходов, также соц.сети, и переходы с непонятных сайтов.


В основном заходы идут на 2 определенные страницы.


Посмотрел логи за неделю и увидел, что основную массу запросов делают 2 бота Боты AppleWebKit/605.1.15 и  AppleWebKit/537.36


Переходят с разных ip адресов.


Строки из логов:


Mozilla/5.0 (Linux; Android 10; GM1910) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Mobile Safari/537.36
[/color]Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1


Попробовал забанить в .htaccess c помощью правил:



SetEnvIfNoCase User-Agent "^AppleWebKit/605.1.15" bad_bot
SetEnvIfNoCase User-Agent "^AppleWebKit/537.36" bad_bot
SetEnvIfNoCase User-Agent "^AppleWebKit" bad_bot


Order Allow,Deny
Allow from all
Deny from env=bad_bot


Но заходы продолжаются.


Если банить по ip , то это около 1300 адресов получается.


Вот пример ip адресов.


176.59.7.231
176.59.7.78
176.59.70.209
176.59.70.241
176.59.71.105
176.59.73.136
176.59.73.218
176.59.74.141
176.59.8.116
176.59.8.197
176.59.9.147
176.59.96.40
176.59.96.47
176.59.96.78
176.59.97.77
176.59.98.195


188.162.172.187
188.162.172.250
188.162.172.39
188.162.180.116
188.162.180.16
188.162.180.65
188.162.185.120
188.162.185.170
188.162.185.19
188.162.185.35
188.162.185.94
188.162.205.35
188.162.39.244

Есть ли смысл забанить подсеть и как правильно это сделать? Может кто сталкивался?


Написал в поддержку Яндекса. Ответили:



К сожалению, не могу прокомментировать, кто и с какой целью осуществляет подобные посещения. Но при разработке алгоритмов ранжирования предусмотрены случаи, при которых злоумышленники могут попытаться повлиять на позиции того или иного сайта. Поэтому их действия никак не должны отразиться на положении сайта в поиске. Также вам нет необходимости предпринимать дополнительные действия по защите сайта.




Статистика сильно портится от данных посещений (как тут не предпринимать ничего).


Оффлайн Владимир75

  • Администратор
  • Бизнес оценка: (4, 100%)
  • *****
  • СПАСИБО: 7298
  • Сообщений: 10823
  • Карма: 652
  • Пол: Мужской
  • Это я такой уже старый
  • Награды Гроссмейстер поисковой оптимизации SEO Профессионал Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
    • Оптимизация и Продвижение

Оффлайн Владимир75

  • Администратор
  • *****
  • Доп. информация
    • Бизнес оценка: (4, 100%)
    • СПАСИБО: 7298
    • Сообщений: 10823
    • Карма: 652
    • Пол: Мужской
    • Это я такой уже старый
    • Награды Гроссмейстер поисковой оптимизации SEO Профессионал Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
      • Оптимизация и Продвижение
Re: Боты AppleWebKit/605.1.15 и AppleWebKit/537.36
« Ответ #1 : 07-12-2020, 15:00:38 »
В этой теме, поднималась эта тема http://www.sbup.com/seo-forum/prodvizenie_saita/nakrutka_negativnyh_pf_v_yandekse/msg755962/#msg755962

Оффлайн Вадим КостинАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 178
  • Сообщений: 679
  • Карма: 42
  • Пол: Мужской
  • Награды SEO-специалист продвинутого уровня

Оффлайн Вадим КостинАвтор темы

  • Ветеран
  • *****
Re: Боты AppleWebKit/605.1.15 и AppleWebKit/537.36
« Ответ #2 : 07-12-2020, 15:40:37 »
В этой теме, поднималась эта тема http://www.sbup.com/seo-forum/prodvizenie_saita/nakrutka_negativnyh_pf_v_yandekse/msg755962/#msg755962

Владимир, приветствую) Спасибо за ссылку. Оказывается нас много таких)

Оффлайн Владимир75

  • Администратор
  • Бизнес оценка: (4, 100%)
  • *****
  • СПАСИБО: 7298
  • Сообщений: 10823
  • Карма: 652
  • Пол: Мужской
  • Это я такой уже старый
  • Награды Гроссмейстер поисковой оптимизации SEO Профессионал Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
    • Оптимизация и Продвижение

Оффлайн Владимир75

  • Администратор
  • *****
  • Доп. информация
    • Бизнес оценка: (4, 100%)
    • СПАСИБО: 7298
    • Сообщений: 10823
    • Карма: 652
    • Пол: Мужской
    • Это я такой уже старый
    • Награды Гроссмейстер поисковой оптимизации SEO Профессионал Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
      • Оптимизация и Продвижение
Re: Боты AppleWebKit/605.1.15 и AppleWebKit/537.36
« Ответ #3 : 07-12-2020, 15:52:03 »
Владимир, приветствую) Спасибо за ссылку. Оказывается нас много таких)
Копец, как много Вадим)))

Оффлайн Val_Ery

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 141
  • Сообщений: 247
  • Карма: 28

Оффлайн Val_Ery

  • Постоялец
  • ***
Re: Боты AppleWebKit/605.1.15 и AppleWebKit/537.36
« Ответ #4 : 08-12-2020, 00:04:56 »
Вадим Костин,
Из приведенной вами части лога видно следующее:
1 строка - китайский телефон OnePlus 7 GM1910 под управлением операционной системы Андроид 10. Посетитель, вероятно, использовал браузер Chrome/84.
2 строка - вот здесь уже яблоко: iPhone и браузер, вероятно, сафари версии 13.1, который используется на iOS 13.4

Цитате с сайта яблочников:
Цитировать
Трафик, поступающий от Applebot, идентифицируется его строкой user-agent, а результат обратного разрешения DNS соответствует домену *.applebot.apple.com, размещенному в блоке адресов сети 17.0.0.0.

Похоже, что в вашем случае с самим ботом траф не связан...

Банить "сеть/подсеть" не рекомендуется.
Объясню на примере из вашего поста.
У вас две группы айпишников: первая - это посетители с теле2, вторая - мегафон. Адреса "локализованы" (не хорошее слово) по регионам. Например, мегафон северо-запад, в котором Питер, Новгород и т.д. В вашем "черном списке" есть и Омск, и Ростов-Дон... То есть, закрыв доступ к сайту для 1300 адресов, я даже не представляю, какой части мобильного трафика вы лишитесь
Другая сторона медали с мобильным интернетом - у пользователя нет белого IP, там некая частная сеть. Смысл в отлове "паразита" сразу теряется...

Теперь про applebot'ов...
Закрыть доступ можно через robots.txt
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.Он понимает noindex, nosnippet, nofollow в мета.


Оффлайн Вадим КостинАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 178
  • Сообщений: 679
  • Карма: 42
  • Пол: Мужской
  • Награды SEO-специалист продвинутого уровня

Оффлайн Вадим КостинАвтор темы

  • Ветеран
  • *****
Re: Боты AppleWebKit/605.1.15 и AppleWebKit/537.36
« Ответ #5 : 08-12-2020, 07:45:31 »

Теперь про applebot'ов...

Спасибо за подробное разьяснение.


 

Похожие темы

  Тема / Автор Ответов Последний ответ
3 Ответов
1870 Просмотров
Последний ответ 09-11-2010, 16:28:20
от Sevab
2 Ответов
4579 Просмотров
Последний ответ 06-08-2012, 14:11:59
от Radnk2012
5 Ответов
1770 Просмотров
Последний ответ 15-01-2015, 08:23:25
от zanuda
2 Ответов
1085 Просмотров
Последний ответ 21-03-2015, 02:03:58
от janis
4 Ответов
2133 Просмотров
Последний ответ 08-01-2018, 12:19:24
от Rogozin