Если вам нравится SbUP Форум, вы можете поддержать его - BTC: bc1qppjcl3c2cyjazy6lepmrv3fh6ke9mxs7zpfky0 , TRC20 и ещё....

 

Много процессов apache2, которые вешают сайт

Автор borro, 06-04-2016, 14:21:08

« назад - далее »

borroTopic starter

Здравствуйте.

Отслеживал результаты вывода команды top на Debian7. Возникают ситуации, когда запускается куча команд apache2, которые сжирают всю процессорную мощность, и сайт висит.
1. Сколько в принципе должно быть процессов apache2 для одного сайта, работающего на VPS и под какими пользователями они должны быть?

Нагружающие процессы apache2 то возникают, то исчезают.
2. Как понять, что их инициализирует?

В приложении снимок во время одной из таких пиковых ситуаций

Юзер antilopa это тот, кому даны права на папку с сайтом, не root

Добавлено: 06-04-2016, 16:27:29


Посмотрел access.log в районе времени, когда был зафиксирован пик нагрузки и увидел кучу ботов Яндекса и других поисковиков:
[spoiler]
Цитировать185.15.208.190 - - [06/Apr/2016:14:13:07 +0300] "GET /otobrannye-tovary/znachki__or__praskovejskij-vinzavod__or__mrsk__or__alternativa__or__prekrasnoj-polovine__or__religioznaya-tematika-1__or__prielbruse-1/ HTTP/1.0" 200 30762 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:11 +0300] "GET /otobrannye-tovary/professii__or__moskva__or__derevya-i-rasteniya__or__na-vse-sluchai-zhizni__or__breloki-s-voennoj-tekhnikoj-1/ HTTP/1.0" 200 29113 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:10 +0300] "GET /otobrannye-tovary/alanskij-muzhskoj-monastyr__or__znachki__or__alternativa__or__podveski-i-medalony__or__statuetki-i-kompozitsii__or__kruzhki-2/ HTTP/1.0" 200 29433 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:12 +0300] "GET /otobrannye-tovary/znachki__or__novospasskij-stavropigialnyj-muzhskoj-monastyr__or__lozhki__or__prekrasnoj-polovine__or__religioznaya-tematika-1/ HTTP/1.0" 200 29601 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:14 +0300] "GET /otobrannye-tovary/znachki__or__futbolnyj-klub-rubin-kazan__or__mrsk__or__prekrasnoj-polovine__or__religioznaya-tematika-1__or__statuetki-lyudej/ HTTP/1.0" 200 29702 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:13 +0300] "GET /otobrannye-tovary/alanskij-muzhskoj-monastyr__or__alternativa__or__prielbruse__or__dombaj__or__podveski-i-medalony__or__statuetki-i-kompozitsii__or__rus-sssr-rossiya-1/ HTTP/1.0" 200 29626 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:15 +0300] "GET /otobrannye-tovary/administratsiya-g-stavropolya__or__mangaly-i-shampury__or__prekrasnoj-polovine/ HTTP/1.0" 200 29645 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
185.15.208.190 - - [06/Apr/2016:14:13:15 +0300] "GET /otobrannye-tovary/znachki__or__fskn-rossii__or__mrsk__or__moskva__or__prekrasnoj-polovine__or__religioznaya-tematika-1/ HTTP/1.0" 200 29998 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:16 +0300] "GET /otobrannye-tovary/znachki__or__mrsk__or__podstakanniki__or__prekrasnoj-polovine__or__religioznaya-tematika-1__or__lichnoe-oruzhie__or__kruzhki-1/ HTTP/1.0" 200 29837 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:18 +0300] "GET /otobrannye-tovary/znachki__or__magnity-religiya__or__mrsk__or__pyatigorsk__or__na-vse-sluchai-zhizni__or__prekrasnoj-polovine__or__religioznaya-tematika-1/ HTTP/1.0" 200 29972 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:17 +0300] "GET /otobrannye-tovary/alanskij-zhenskij-monastyr__or__znachki__or__magnity-religiya__or__mrsk__or__pyatigorsk__or__prekrasnoj-polovine__or__religioznaya-tematika-1/ HTTP/1.0" 200 30236 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
[/spoiler]
Могут ли боты генерить кучу процессов apache2?
Сегодня сайт был не доступен полдня. Может из-за этого боты ополчились?


ProtectYourSite

Возможно стоит подумать над кешированием.
Если боты поисковиков вешают сайт, то стоит увеличить Crawl-delay в robots.txt
Ну а в первую очередь стоит выяснить, что создает такую нагрузку и почему.
Включайте логирование, переключайте на какой-нибудь режим trace  и отслеживайте, и в папках апача, а не логах сайта.
Ну и из области ткнуть пальцем в небо, было у заказчика подвисоны на сайтах, отключил анализатор awstats в ротации логов, всю нагрузку как рукой сняло.



Если вам нравится SbUP Форум, вы можете поддержать его - BTC: bc1qppjcl3c2cyjazy6lepmrv3fh6ke9mxs7zpfky0 , TRC20 и ещё....