К кому апеллировать по ошибке 503?

[remind4me]

Crawl-Delay это по-моему ЗАДЕРЖКА в обращениях, а не их периодичность-частота???

Да, так оно и есть, Crawl-Delay - это задержка между запросами. Я как-то экспериментировал с ним, и оказалось, что Яндекс довольно часто просто игнорирует этот параметр и время от времени он "долбил" по сайту гораздо интенсивнее, чем было указано в Crawl-Delay.

[artis72]

А может это все быть связано с картой сайтов и ошибкой в заголовке?
Есть несколько сайтов на Joomla на одном сервере и через joomla автоматически создаются карты сайтов в формате xml. Стабильно год все было нормально и карты сайта яндекс-вебмастером были приняты, но вот после АП-Яндекса 14 июля некоторые карты выдали ошибку, а некоторые идентичные нет. Ответ Яшки: Данная ситуация связана с тем, что при обращении к указанному файлу возвращается неверный заголовок Content-encoding: UTF-8 . Согласно стандартам, заголовок Content-encoding не нужен, если контент не сжат.
Может изменились стандарты, но ситуация странная, так как тот же заголовок в файле сайтмэп <?xml version="1.0" encoding="UTF-8"?>
стоит и в других файлах, которые валидатор воспринимает и одобряет.
У Вас какое мнение и есть ли у Вас в файлах карт сайта такой заголовок?

[Alexluxe]

Вопрос к техническим спецам: может сервер глючить ТОЛЬКО для Яндекса, ведь ВСЕ запросы Гугла в норме (а он ведь не реже Яшки обращается к сайту)?

В ситуации описанной мною ранее, так и было.
Яша писал ошибку сервера, Гоша - всё ок!
НО, Гугл положил в кеш то, что отдал сервер, т.е. без информации из БД.
Яндекс, по моим наблюдениям, даже отрабатывает JS.

По логам видно, Гоша в сутки скaнирует 10-20 страниц.
Яша, доходит до 200-300 за заход (на сайте доступных для роботов 1500).

[artis72]

Т.Е. ПЛЮНУТЬ И ПЕРЕХОДИТЬ НА ДРУГОЙ ХОСТИНГ???

[remind4me]

Может изменились стандарты, но ситуация странная, так как тот же заголовок в файле сайтмэп <?xml version="1.0" encoding="UTF-8"?>
стоит и в других файлах, которые валидатор воспринимает и одобряет.
У Вас какое мнение и есть ли у Вас в файлах карт сайта такой заголовок?

У меня на всех сайтах заголовок содержит <?xml version="1.0" encoding="UTF-8"?>, так что к нему претензий быть не должно.
Другое дело, что проблема может крыться в том, что сам файл сайтмэп возможно каким-то образом сохранен НЕ в формате "UTF-8".
Проверьте на всякий случай, что именно в "UTF-8" ваш сайтмэп. Проверить например можно открыв его в Notepad++, где внизу справа будет указана кодировка.

[Alexluxe]

Т.Е. ПЛЮНУТЬ И ПЕРЕХОДИТЬ НА ДРУГОЙ ХОСТИНГ???

503 - ошибка сервера! За сервер отвечает хостер.
Чаще всего не хватает ресурсов сервера. Либо глючит gnix.

Может быть из-за СМС? - может.
1) Долго выполняется запрос к БД, либо вообще не выполняется.
2) Долго отрабатывают скрипты или плагины.
3) Такой ответ можно отдать средствами PHP. Иногда так защищают платные плагины.
4) Долго выполняются запросы к другим ресурсам. Партнерка ...

С картой сайта может быть та-же мама. Долго формируется файл.
Как это проверить в Джумле - не знаю. Не работал с ЦМС.

[artis72]

Аллилуйя. Пришел ответ от Платона (как всегда содержательный). Я ведь им скрины разногласий отсылал ИХ аптайма и вебмастера.
... Ранее при обращении к страницам Вашего сайта наш робот получал код HTTP 503, в связи с этим они были исключены из поиска Яндекса. Данная ошибка возникает из-за настроек сервера, на котором находится Ваш сайт ...
НО ЕСТЬ СДЕРЖАННАЯ НАДЕЖДА. Ибо сегодня обновились в истории индексирования яндекс-вебмастера HTTP-коды ответов роботу: и наконец-то 22 июля почему-то вообще запросов не было, а вот за 23 июля "пошли зелененькие" 200ОК. ура!!!
Всем за внимание и советы спасибо. Буду ждать АП, хотя в письме Яша сказал про возврат главной страницы в течении 2-хнедель.
Добавлено: 24-07-2012, 14:59:12

Да, так оно и есть, Crawl-Delay - это задержка между запросами. Я как-то экспериментировал с ним, и оказалось, что Яндекс довольно часто просто игнорирует этот параметр и время от времени он "долбил" по сайту гораздо интенсивнее, чем было указано в Crawl-Delay.

К РАЗМЫШЛЕНИЮ: Crawl-Delay работает вроде, потому что обзор старых логов там бот яндекса несколько раз в секунду обращался, а сегодня посмотрел лог за 24 июля и ЧЕТКО прослеживается 3 сек задержка в запросах яндекс-бота. ВОТ!