Вопрос по коду 503 Service Unavaliable

[vold57]

Ситуация такая. Многие страницы сайта загружаются в браузере. Сервисы проверки ответа сервера показывают Код статуса HTTP200 OK. Яндекс Вебмастер показывает время ответа сервера246 мс. Но, при сканировании обе программы - Screaming Frog и Netpeak Spider выдают статус кода 503 Service Unavaliable.
В чем может быть проблема?

[Sky-fi]

Тоже такое видел, но не было времени углубиться в этот вопрос, потом просто забыл.
http://mainspy.ru/otvet_servera - вот этим сервисом еще проверьте несколько страниц, я его использую, если софт что-то выдумывает.

Проблема может быть в большом кол-ве запросов программ к сайту. Насколько помню, обычно 503 ошибка как раз отображается в программе.
Главное чтобы гугл и яндекс не ругались, а проги это такое)

[vold57]

Тоже этим сервисом проверяю. Все норм - HTTP/1.1 200 OK. С Яндесом и Гуглом проблем нет.
Посмотрю в настройках программ, можно ли уменьшить количество запросов. Но пользуюсь бесплатными версиями. Думаю, что таких настрое не будет.

[Sky-fi]

В лягушке должны быть настройки, там только ограничение по кол-ву страниц (до 500 вроде).

[Coder]

В чем может быть проблема?

Идете сюда и проверяете: http://ping-admin.ru

Затем, по результатам, пишите здесь) и мы думаем)

[vold57]

По умолчанию и в лягушке и в нетпик спидер стояло 5 потоков. Выставил 1 поток, но результат тот же.
Добавлено: 03-08-2017, 22:31:12

http://prntscr.com/g40n61
http://prntscr.com/g40oxu

[Sky-fi]

vold57, может, айпишник запалила какая-то система защиты сервера. Через прокси можно попробовать аккуратно, в 1 поток.

[Trying my best]

Попробуйте просканировать страницы в Netpeak Spider, изменив настройки User Agent.
Googlebot, NetpeakSpiderBot и YandexBot получают одинаковые коды ответа сервера?
Потоки, кстати, регулируются. Оптимально, наверное, поставить 3-5, чтобы не перегружать сервер.

[borzoid]

В ЯВМ какова судьба этих страниц?

[vold57]

Попробуйте просканировать страницы в Netpeak Spider, изменив настройки User Agent.
Googlebot, NetpeakSpiderBot и YandexBot получают одинаковые коды ответа сервера?
Потоки, кстати, регулируются. Оптимально, наверное, поставить 3-5, чтобы не перегружать сервер.

Пробовал тремя разными программами, выставил 1 поток. Все равно, начиная примерно с 20 страницы отдает код 503.

В ЯВМ какова судьба этих страниц?

В ЯВМ судьба хорошая - HTTP200 OK