После удаления большого количества страниц с сайта, его перестал посещать поиско

[Maxaon]

После удаления большого количества страниц с сайта, его перестал посещать поисковый робот. Получилось так, что я удалил большое количество изображений с сайта, и как следствие - много страниц стали недоступны и выдают 404 . В этот же день, сайт перестал посещать поисковый робот яндекса, и так уже больше недели. Что делать и как с этим быть?

[Вадим Костин]

1. https://webmaster.yandex.ru/delurl.xml удалите эти страницы в вебмастере Яндекса

2. Удалите страницы в вебмастере Google -->Индекс Google -->Удалить URL адреса

3. Вы уверены что робот не посещает сайт? Ссылку на сайт напишите, в robots.txt делали что ни будь?

[Maxaon]

Как я понимаю, инструмент удаления и блoкировки url - это одно и то же? https://support.google.com/webmasters/answer/1269119?hl=ru Здесь я прочитал, что "Не используйте блoкировку URL для удаления ненужных элементов, например старых страниц с сообщением об ошибке 404". Поэтому не стал этого делать. Да и страниц там много. У меня был альбом изображений, и я его удалил, т.к. каждое изображение - страница. Гугл заходит на сайт, а вот с яндексом, на скрине всё видно. 27 числа - последний заход. В файле роботс буквально вчера и сегодня закрыл от индексации страницы, которые удалены (не уверен, что это был правильный шаг, но где-то я прочитал, что так нужно сделать). Сайт na-poroge.ru

[Вадим Костин]

Скиньте ссылку на сайт или robots.txt покажите что написано?

1. Были ли проблемы с продолжительной недоступностью сайта?
2. Как часто обновляете сайт?

[Maxaon]

Как раз сегодня робот яндекса зашёл на сайт, правда ещё ничего не проиндексировано. Проблем с продолжительной недоступностью сайта не было. Обновляю один-два раза в неделю http://na-poroge.ru/robots.txt
Добавлено: 06-06-2015, 10:25:14

В принципе, если робот яндекса посещает сайт, то проблема исчерпана. Спасибо за помощь.

[Вадим Костин]

Удалить URL-адреса Используйте файл robots.txt, чтобы указать, как поисковые системы должны скaнировать ваш сайт, или отправьте запрос на удаление URL из результатов поиска Google (ознакомьтесь с условиями удаления). Отправлять запросы на удаление могут только владельцы сайтов и пользователи с полным доступом

Можно не использовать, тогда url дольше будут находиться в индексе ПС. Выпадут сами если не ошибаюсь через 2 - 3 месяца
Добавлено: 06-06-2015, 10:49:24

Как раз сегодня робот яндекса зашёл на сайт, правда ещё ничего не проиндексировано. Проблем с продолжительной недоступностью сайта не было. Обновляю один-два раза в неделю http://na-poroge.ru/robots.txt
Добавлено: 06-06-2015, 10:25:14

В принципе, если робот яндекса посещает сайт, то проблема исчерпана. Спасибо за помощь.

Это хорошо, сейчас Вам нужно robots.txt подправить:

1. Напишите отдельную директиву для робота  User-agent: Yandex
2. Почему у Вас в пуникоде прописаны некоторые  директивы, ведь домен у Вас на латинице Disallow: /%D1%84%D0%BE%D1%82%D0%BE%D0%B0%D0%BB%D1%8C%D0%B1%D0%BE%D0%BC/y_44c0fd88 - нужно исправить на латиницу
3. Недопустимо наличие пустых переводов строки между директивами User-agent, Disallow и Allow.
4. Директиву host измените: Яндекс определил главное зеркало без www, а Google с www
Определитесь какое зеркало Вы хотите чтобы было главным и измените директиву Host:
Должно получиться:

Host: www.na-poroge.ru  или Host: na-poroge.ru

5. C картой sitemap.xml у Вас непорядок, почему страницы в пуникоде прописаны?
Добавлено: 06-06-2015, 10:52:10

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml - советы Яндекса по составлению файла robots.txt

[Maxaon]

Отдельную дерективу для яндекса сделал. Ссылки в файле роботс я указывал на страницу без названия домена т.е. /фoтоальбом/fgltlrxxrqc (может нужно было na-poroge.ru/фoтоальбом/fgltlrxxrqc  ?)  . Как видите, в названии раздела кириллица и она преобразуется в пуникод.
Добавлено: 06-06-2015, 16:50:17

в гугл инструментах для вебмастера я указывал основной хост без www

[Вадим Костин]

Host пропишите без http://

По поводу пуникода

Отдельную дерективу для яндекса сделал. Ссылки в файле роботс я указывал на страницу без названия домена т.е. /фoтоальбом/fgltlrxxrqc (может нужно было na-poroge.ru/фoтоальбом/fgltlrxxrqc  ?)  . Как видите, в названии раздела кириллица и она преобразуется в пуникод.
Добавлено: 06-06-2015, 16:50:17

в гугл инструментах для вебмастера я указывал основной хост без www

C пуникодом все верно, а почему для яндекса пуникод не указали? Директиву Host: укажите без  http:// и в вебмастере укажите основное зеркало