Статус 404 и потребление ресурсов сайта

[moroshkinal]

Добрый день!
Помогите исправить проблему или посоветуйте:

К моему  сайту есть множество обращений отданных со статусом 404 (не найдено)
Обратилась на хостинг. Вот, что мне ответили и я не могу понять как это сделать:

На обработку подобных запросов, в среднем требуется по 1.5 секунды, а периодически и больше.

Данные обращения существуют, как от роботов, так и от реальных посетителей.  Нужно исключить запросы к несуществующему содержимому от роботов поисковых систем - это существенно поможет снизить потребление ресурсов.

В целом - из примерно 6000 запросов за вчерашние сутки - около 1000 было отдано с ошибкой 404.

Если можете, объясните поподробней и чтобы было понятно


Всем спасибо

[KaZaK]

Данные обращения существуют, как от роботов, так и от реальных посетителей.  Нужно исключить запросы к несуществующему содержимому от роботов поисковых систем - это существенно поможет снизить потребление ресурсов.

Можно попробовать запретить страницу в файле роботс.ткт

Disallow: /404

[moroshkinal]

спасибо попробую

[ignatye]

Как я понял проблема в нагрузке на сервер, запретив индексацию "Disallow: /404" Вы не снизите нагрузку. Избавляйтесь от ссылок в никуда. Ну и конечно используйте кэш.

[moroshkinal]

спасибо стараюсь избавиться от битых ссылок

[tuktukby]

Народ! Дайте кто-ниб. плиз, толковую ссылку, как создать свою 404 с учетом разных нюансов...не могу понять куда она должна ссылаться и зачем она вообще нужна??? Заранее спасибо!