Блокировка конкретного IP

Автор fanat, 16-04-2016, 16:50:16

« назад - далее »

Надежда Хачатурова

#10
fanat, я же Вам скинула Crawl-delay: 10 В файл robots.txt впишите. Скайп есть? Так быстрее будет. Или ссылку на сайт дайте (не вижу). Найду ваш robots и добавлю. Останется перезалить или отредактировать (что там у Вас можно).
Аудит и оптимизация сайтов
Хостинг - надежный, SSL - бесплатный
  •  


fanatTopic starter

Цитата: nadkhachaturova от 16-04-2016, 20:17:30
fanat, я же Вам скинула Crawl-delay: 10 В файл robots.txt впишите. Скайп есть? Так быстрее будет. Или ссылку на сайт дайте (не вижу). Найду ваш robots и добавлю. Останется перезалить или отредактировать (что там у Вас можно).
Скайпом я не пользуюсь есть страница Вк, Фейсбук, гуггл+, имейл есть а скайп нету а ссылка на сайт разве не спам или реклама как называют?
  •  


Надежда Хачатурова

Цитата: fanat от 16-04-2016, 20:33:25а ссылка на сайт разве не спам или реклама как называют?
Больного же доктору показать надо. В спойлер закройте, раз стесняетесь. Люди ссылку в подпись ставят. Давайте ссылку - отредактированное содержимое robots,txt пришлю в личку (там файлы не прикрепить). 
Аудит и оптимизация сайтов
Хостинг - надежный, SSL - бесплатный
  •  

fanatTopic starter

Огромная спасибо Вам! Откровенно говоря пока мне не понять, почему Вы свое драгоценное время, так безвозмездно тратите на меня (почти совсем незнакомого человека) просто в голову приходит один единственный реальный мысль о том, что Вы просто очень хороший человек, человек с большой буквы, которых к сожалению в нашем испорченном мире каждым днем становится меньше...  ссылка на мой сайт bestvestonlayn.ru но с протоколом www. сайт сейчас закрыт на тех обслуживание мною через htacess если есть необходимость я открою.
P.S. прошу извинить меня за грамматические и прочие ошибки, но по моему мне прoстительно я же не русский.
Заранее спасибо и,
С уважением,
   
  •  

Надежда Хачатурова

fanat, да, откройте на пару минут. Дескрипшн вижу, а robots - нет. :)
Аудит и оптимизация сайтов
Хостинг - надежный, SSL - бесплатный
  •  


fanatTopic starter

Извините не смог в хостинг зайти вот убрал файл маинтенанче и теперь сайт доступно
  •  

Надежда Хачатурова

Так у Вас нет файла robots.txt. Такое может быть? Если это так, закрывайте сайт снова. Сейчас скину Вам содержимое роботса для вордпресс (стандартное), загрузите на хостинге в папку public_html

Создайте текстовый документ (блокнот), назовите его robots
Туда вставьте хотя бы это, сохраните и загрузите на сервер. Вы не сказали, какие роботы покоя не дают. Если Гугла, перенесите строку  Crawl-delay: 5 под User-agent: * Цифры ставьте, какие Вам надо. У меня на одном сайте стоит 2.

[spoiler]

User-agent: *
Disallow: /wp-admin/
Disallow: /?*
Disallow: /xmlrpc.php

User-agent: Yandex
Crawl-delay: 5
Disallow: /wp-admin/
Allow: /wp-content/uploads/*
Disallow: /?*
Disallow: /xmlrpc.php
Host: http://www.bestvestonlayn.ru/

[/spoiler]

sitemap тоже не вижу.
Аудит и оптимизация сайтов
Хостинг - надежный, SSL - бесплатный
  •  

ss2o

#17
Цитата: fanat от 16-04-2016, 21:00:33
Откровенно говоря пока мне не понять, почему Вы свое драгоценное время, так безвозмездно тратите на меня (почти совсем незнакомого человека)

Так форум для этого и существует чтобы мы др. др. помогали, делились своим опытом. Советовались др. с др.

Я заблoкировал ботов в .htaccess следующим образом [spoiler]# Bot Blocker
<IfModule mod_setenvif.c>
SetEnvIfNoCase User-Agent ^$ keep_out
SetEnvIfNoCase User-Agent (pycurl|skygrid|casper|cmsworldmap|diavol|SputnikBot|Crowsnest|PaperLiBot|peerindex) keep_out
SetEnvIfNoCase User-Agent (flicky|ia_archiver|jakarta|kmccrew|rogerbot|BLEXBot|MJ12bot) keep_out
SetEnvIfNoCase User-Agent (purebot|comodo|feedfinder|Twiceler) keep_out
SetEnvIfNoCase User-Agent (Java|NjuiceBot|CommentReader|discobot|BTWebClient|Tagoobot) keep_out
SetEnvIfNoCase User-Agent (SurveyBot|Gigabot|Baiduspider) keep_out
SetEnvIfNoCase User-Agent (JS-Kit|Voyager|PostRank) keep_out
SetEnvIfNoCase User-Agent (DotBot|Aport|spbot) keep_out
SetEnvIfNoCase User-Agent (larbin|Butterfly|Zeus) keep_out
SetEnvIfNoCase User-Agent (Wget|SWeb|LinkExchanger|igdeSpyder|AhrefsBot|Teleport|Offline) keep_out
SetEnvIfNoCase User-Agent (Soup|WordPress|PHP/|DISCo|netvampire|Copier|WebCopier) keep_out
SetEnvIfNoCase User-Agent (MLBot|InternetSeer|YottosBot) keep_out
SetEnvIfNoCase User-Agent (Yeti|Birubot|Yahoo|NING) keep_out
SetEnvIfNoCase User-Agent (gold\crawler|Linguee|Ezooms) keep_out
SetEnvIfNoCase User-Agent (lwp-trivial|User-Agent|kmSearchBot) keep_out
SetEnvIfNoCase User-Agent (SiteBot|CamontSpider|ptd-crawler) keep_out
SetEnvIfNoCase User-Agent (HTTrack|suggybot|YottosBot|binlar) keep_out
SetEnvIfNoCase User-Agent (ttCrawler|Nutch|libwww|sucker|turnit|vikspider|zmeu) keep_out
SetEnvIfNoCase User-Agent (Igde|Linguee|Slurp|planetwork) keep_out
<Limit GET POST PUT>
Order Allow,Deny
Allow from all
Deny from env=keep_out
</Limit>
</IfModule>[/spoiler]

Может тоже кто глянет на предмет ошибок (я не программист)
  •  


fanatTopic starter

Здравствуйте! Тема остается открытым и актуальным. Манипуляции  robots.txt ничего не дал опят же кучу  GET и POST запросов с различных 5-10 IP и результат сайт грузит сервер десятикратно!
Вот образцы запросов:
188.143.232.27 - - [16/Apr/2016:03:46:15 +0300] "GET /robotyi-budut-ohranyat-strategicheskie-obektyi.html HTTP/1.0" 200 78599 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36" www.bestvestonlayn.ru

188.143.234.155 - - [16/Apr/2016:03:46:06 +0300] "POST /wp-comments-post.php HTTP/1.0" 429 3375 "http://www.bestvestonlayn.ru/zemletryasenie-magnitudoy-7-3-proizoshlo-u-beregov-yaponii.html" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.111 Safari/537.36" www.bestvestonlayn.ru

Прошу высказаться тех, кто со своим советом может реально помочь их блoкировать или что-то в этом роде
Заранее спасибо!
  •  


ss2o

Цитата: fanat от 17-04-2016, 14:07:45
Здравствуйте! Тема остается открытым и актуальным. Манипуляции  robots.txt ничего не дал опят же кучу  GET и POST запросов с различных 5-10 IP и результат сайт грузит сервер десятикратно!
Прошу высказаться тех, кто со своим советом может реально помочь их блoкировать или что-то в этом роде
Заранее спасибо!

Через robots.txt ботов не всегда эффективно отсекать, делайте через .htaccess  как я выше написал.
У меня была похожая проблема дважды. Первый раз причина была в файле XML-RPC.php через уязвимость в этом файле мой сайт участвовал в ddos атаке - пролечил.
Позже сайт опять был инфицирован и создавал нагрузку на сервер после чего хостер прислал мне письмо.
Проверьте сайт на вирусы. Либо у хостера может быть функция проверки на вирусы, либо через сервис virusdai (правда он денег попросит, но проверить и узнать результат сделает бесплатно, посмотрите отчет найдете вирусные файлы удалите)
Еще вариант скачиваете весь сайт к себе на компьютер и   проверяете антивирусом (можно утилитой dr.web).
Еще вариант утилита от яндекса manul (бесплатно ).

Если вирусов нет, блокируйте ботов через .htaccess (как писал выше). так же через этот же файл настройте кеширование
Это из моего опыта, больше пока в голову ни чего не приходит, может кто то по опытнее еще что то  подскажет
  •