Боты AppleWebKit/605.1.15 и AppleWebKit/537.36

[Вадим Костин]

Всем привет! Не нашел в каком разделе создать тему, поэтому решил создать в этой ветке.


В последние 1 - 1.5 недели заметил на инфо сайте много прямых заходов, также соц.сети, и переходы с непонятных сайтов.


В основном заходы идут на 2 определенные страницы.


Посмотрел логи за неделю и увидел, что основную массу запросов делают 2 бота Боты AppleWebKit/605.1.15 и  AppleWebKit/537.36


Переходят с разных ip адресов.


Строки из логов:

Mozilla/5.0 (Linux; Android 10; GM1910) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Mobile Safari/537.36

[/color]Mozilla/5.0 (iPhone; CPU iPhone OS 13_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1 Mobile/15E148 Safari/604.1

Попробовал забанить в .htaccess c помощью правил:



SetEnvIfNoCase User-Agent "^AppleWebKit/605.1.15" bad_bot
SetEnvIfNoCase User-Agent "^AppleWebKit/537.36" bad_bot
SetEnvIfNoCase User-Agent "^AppleWebKit" bad_bot


Order Allow,Deny
Allow from all
Deny from env=bad_bot


Но заходы продолжаются.


Если банить по ip , то это около 1300 адресов получается.


Вот пример ip адресов.

176.59.7.231
176.59.7.78
176.59.70.209
176.59.70.241
176.59.71.105
176.59.73.136
176.59.73.218
176.59.74.141
176.59.8.116
176.59.8.197
176.59.9.147
176.59.96.40
176.59.96.47
176.59.96.78
176.59.97.77
176.59.98.195 188.162.172.187 188.162.172.250 188.162.172.39 188.162.180.116 188.162.180.16 188.162.180.65 188.162.185.120 188.162.185.170 188.162.185.19 188.162.185.35 188.162.185.94 188.162.205.35 188.162.39.244

Есть ли смысл забанить подсеть и как правильно это сделать? Может кто сталкивался?


Написал в поддержку Яндекса. Ответили:



К сожалению, не могу прокомментировать, кто и с какой целью осуществляет подобные посещения. Но при разработке алгоритмов ранжирования предусмотрены случаи, при которых злоумышленники могут попытаться повлиять на позиции того или иного сайта. Поэтому их действия никак не должны отразиться на положении сайта в поиске. Также вам нет необходимости предпринимать дополнительные действия по защите сайта.




Статистика сильно портится от данных посещений (как тут не предпринимать ничего).

[Владимир75]

В этой теме, поднималась эта тема http://www.sbup.com/seo-forum/prodvizenie_saita/nakrutka_negativnyh_pf_v_yandekse/msg755962/#msg755962

[Вадим Костин]

В этой теме, поднималась эта тема http://www.sbup.com/seo-forum/prodvizenie_saita/nakrutka_negativnyh_pf_v_yandekse/msg755962/#msg755962

Владимир, приветствую) Спасибо за ссылку. Оказывается нас много таких)

[Владимир75]

Владимир, приветствую) Спасибо за ссылку. Оказывается нас много таких)

Копец, как много Вадим)))

[Val_Ery]

Вадим Костин,
Из приведенной вами части лога видно следующее:
1 строка - китайский телефон OnePlus 7 GM1910 под управлением операционной системы Андроид 10. Посетитель, вероятно, использовал браузер Chrome/84.
2 строка - вот здесь уже яблоко: iPhone и браузер, вероятно, сафари версии 13.1, который используется на iOS 13.4

Цитате с сайта яблочников:

Трафик, поступающий от Applebot, идентифицируется его строкой user-agent, а результат обратного разрешения DNS соответствует домену *.applebot.apple.com, размещенному в блоке адресов сети 17.0.0.0.

Похоже, что в вашем случае с самим ботом траф не связан...

Банить "сеть/подсеть" не рекомендуется.
Объясню на примере из вашего поста.
У вас две группы айпишников: первая - это посетители с теле2, вторая - мегафон. Адреса "локализованы" (не хорошее слово) по регионам. Например, мегафон северо-запад, в котором Питер, Новгород и т.д. В вашем "черном списке" есть и Омск, и Ростов-Дон... То есть, закрыв доступ к сайту для 1300 адресов, я даже не представляю, какой части мобильного трафика вы лишитесь
Другая сторона медали с мобильным интернетом - у пользователя нет белого IP, там некая частная сеть. Смысл в отлове "паразита" сразу теряется...

Теперь про applebot'ов...
Закрыть доступ можно через robots.txt

Код:

Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.Он понимает noindex, nosnippet, nofollow в мета.

[Вадим Костин]

Теперь про applebot'ов...

Спасибо за подробное разьяснение.