К кому апеллировать по ошибке 503?

artis72 · 20-07-2012, 12:47:21

Сайту полтора года. На днях пропала главная страница сайта из Яндекса, затем остальные страницы - яндекс вебмастер выдает ошибку 503 - из гугла страницы не пропали и они на своих местах. Работы по сайту www.kazan-sauna.ru вообще не велись, т.е. ни робот.txt, ни структура не трогались, ни чужая реклама не размещалась, но сайт рабочий и если писать url в адресной строке, то они открываются без проблем и никаких ошибок нет.

Пишем платону и в ответ:"При обращении нашего робота к страницам Вашего сайта он получал код http 503, в связи с этим страницы не были проиндексированы.Для устранения данной проблемы, пожалуйста, обратитесь к администратору сервера на котором находится сайт."
Обратился к хостингу, те в ответ то про белые списки ботов Яндекса, прописанные на сервере, то ... В начала июля подсеть Яндекса попадала каждый день в блеклист к DSHIELD, что является их упущением на 100%. Наши сервера забирают вредоносные сети в т.ч. и у DSHIELD.

Инструменты проверки ответа сервера - лог.файла сервера противоречат с яндекс-вебмастером, где скажем за 14 июля логи говорят боту яндекса 200ок, а по отчету вебмастера весь день получает 503 ошибку. Причем мониторинг аптайма яндекс-вебмастера за эту неделю дает 100%, как и http://www.bertal.ru и http://host-tracker.com/ (я там подписчик).
Анализ ответов сети сводится главным образом к смене хостинга и вот еше: Как вариант можно еще попробовать включить кэширование, что бы уменьшить нагрузку или увеличить PHP memory_limit 64 Мб. Еще советует прописать директиву Crawl-delay: 3 в робот.txt

Мне важно устранить проблему. Жду советов. Спасибо.

Владимир75 · 20-07-2012, 13:11:22

Обращайтесь к хостеру, а лучше меняйте его(или настрройте выделенку как надо), из-за чего могут быть такие проблемы, читайте здесь...

artis72 · 20-07-2012, 13:25:32

Цитата: Владимир75 от 20-07-2012, 13:11:22
Обращайтесь к хостеру, а лучше меняйте его(или настрройте выделенку как надо), из-за чего могут быть такие проблемы, читайте здесь...

Менять хостинг понятно, но радикально. Могут быть какие-то проблемы, я устранив которые избавлюсь от 503? Скажем прописать директиву Crawl-delay: 3

Владимир75 · 20-07-2012, 13:38:25

Во-первых, удостоверьтесь, что у вас нет проблем с хостингом и сервером. Обратитесь к администратору сервера для проверки их стороны. Проверьте настройки белого списка ботов Яндекса и убедитесь, что они правильно настроены.

Во-вторых, попробуйте включить кэширование на вашем сайте, чтобы уменьшить нагрузку на сервер. Также рассмотрите возможность увеличения PHP memory_limit до 64 Мб, как предложено вариантом.

Наконец, вы можете прописать директиву Crawl-delay: 3 в файле robots.txt. Это позволит установить задержку между запросами бота Яндекса к вашему сайту и может помочь управлять нагрузкой на сервер.

Alexluxe · 20-07-2012, 15:45:18

Апеллировать не к кому.
Кто виноват - хостер!

Как получилось, что страница отдает код 200 а сайт 503 ?

Месяц назад у меня была такая проблема.
503 ошибку отдавал сервер базы данных! А Яша выбирает из ответов самый "страшный".
У меня хостер, без предупреждения установил новую версию БД!!

Причин может быть несколько: сервер БД прегружен запросами, минимальные настройки окружения (зажат лимит), либо сами запросы "корявые", индексы покоцанные ...
Проверяется нагрузкой на сайт.
У меня пишутся логи запросов и кодов ответов к БД. Делал для отладки скорости, да так и пришлось оставить.

artis72 · 24-07-2012, 09:33:10

История пока продолжается (сразу скажу ПОКА перенос на новый хостинг окончательно не решен).
Почему упорствую. Первое: жду АП-Я и их ответа на мои вопросы. Второе: авторитетный host-tracker.com и САМ мониторинг аптайма яндекса рапортуют о 100% доступности. Ежедневный анализ лог.файлов сервера говорит о нормальной работе, хотя админ хостера сказал ... Ошибку 503 может отбивать nginx если с одного ip получает более 10 одновременных подключений. Сейчас я изменил это значение на 20 ... Также я включил кеширование сайта в Joomle с интервалом сутки (чтобы тоже не было лишней нагрузки) и в robots.txt установил задержку обращений 3 сек прописав Crawl-delay: 3.
У Гугла все отлично. Пока глючит??? вебмастер яндекса и по его последним отчетам за 21 июля из 34 обращений к сайту 8 получило 503 ошибку - что где-то 25% ошибок.

Вопрос к техническим спецам: может сервер глючить ТОЛЬКО для Яндекса, ведь ВСЕ запросы Гугла в норме (а он ведь не реже Яшки обращается к сайту)?

remind4me · 24-07-2012, 09:47:09

Цитата: artis72 от 24-07-2012, 09:33:10Вопрос к техническим спецам: может сервер глючить ТОЛЬКО для Яндекса, ведь ВСЕ запросы Гугла в норме (а он ведь не реже Яшки обращается к сайту)?

Возможно это из-за того, что Яндекс и Гугл обращаются к сайту в разное время... т.е. Яндекс например обходит либо во время, когда на сайт много обращений посетителей, либо Яндекс-роботы слишком агрессивно пытаются скaнировать сайт (например очень много запросов один за другим).
"Crawl-delay: 3" по идее должен способствовать решению проблемы (по крайней мере временно), хотя вот что Яндекс пишет по этому поводу:

ЦитироватьПоисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.

artis72 · 24-07-2012, 09:51:34

Лаг по времени понятен, но при анализе короткого отрезка, а когда это длится уже 21 день, то вероятность УДАЧЛИВОСТИ робота Гугла и не везучести Яндекса просто ПОТРЯСАЕТ.
Craw-Delay это по-моему ЗАДЕРЖКА в обращениях, а не их периодичность-частота???

remind4me · 24-07-2012, 09:57:44

Цитата: artis72 от 24-07-2012, 09:51:34
Лаг по времени понятен, но при анализе короткого отрезка, а когда это длится уже 21 день, то вероятность УДАЧЛИВОСТИ робота Гугла и не везучести Яндекса просто ПОТРЯСАЕТ.

Еще одна возможная причина может быть в том, что на вашем сайте страницы медленно открываются (даже для роботов), и вот Яндекс может более "нервно" на это реагировать, а Гугл более лоялен к такому и он "терпит" дольше... (это всего лишь предположение).

Попробуйте может на время включить сжатие GZIP на сайте (если такая возможность у вас есть, но имейте ввиду, что GZIP-сжатие хоть и ускорит загрузку страниц, но в то же время он увеличит нагрузку на сервер).

artis72 · 24-07-2012, 10:00:12

Буду пробовать ВСЕ. Уж очень геморойно на новый хостинг переезжать.
СПАСИБО.
Кстати тот же валидатор яндекс-вебмастера тестирую 2 недели и он дает скорость загрузки страниц 370-390 мс