После удаления большого количества страниц с сайта, его перестал посещать поиско

Автор Тема: После удаления большого количества страниц с сайта, его перестал посещать поиско  (Прочитано 3578 раз)

Оффлайн MaxaonАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 4
  • Карма: 1
    • Просмотр профиля

Оффлайн MaxaonАвтор темы

  • Дебютант
  • *
После удаления большого количества страниц с сайта, его перестал посещать поисковый робот. Получилось так, что я удалил большое количество изображений с сайта, и как следствие - много страниц стали недоступны и выдают 404 . В этот же день, сайт перестал посещать поисковый робот яндекса, и так уже больше недели. Что делать и как с этим быть?


Оффлайн Вадим Костин

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 178
  • Сообщений: 664
  • Карма: 42
  • Пол: Мужской
  • Награды SEO-специалист продвинутого уровня
    • Просмотр профиля
    • Горные лыжи и сноуборд

Оффлайн Вадим Костин

  • Ветеран
  • *****
1. https://webmaster.yandex.ru/delurl.xml удалите эти страницы в вебмастере Яндекса
 
2. Удалите страницы в вебмастере Google -->Индекс Google -->Удалить URL адреса

3. Вы уверены что робот не посещает сайт? Ссылку на сайт напишите, в robots.txt делали что ни будь?

Оффлайн MaxaonАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 4
  • Карма: 1
    • Просмотр профиля

Оффлайн MaxaonАвтор темы

  • Дебютант
  • *
Как я понимаю, инструмент удаления и блoкировки url - это одно и то же? https://support.google.com/webmasters/answer/1269119?hl=ru Здесь я прочитал, что "Не используйте блoкировку URL для удаления ненужных элементов, например старых страниц с сообщением об ошибке 404". Поэтому не стал этого делать. Да и страниц там много. У меня был альбом изображений, и я его удалил, т.к. каждое изображение - страница. Гугл заходит на сайт, а вот с яндексом, на скрине всё видно. 27 числа - последний заход. В файле роботс буквально вчера и сегодня закрыл от индексации страницы, которые удалены (не уверен, что это был правильный шаг, но где-то я прочитал, что так нужно сделать). Сайт na-poroge.ru

Оффлайн Вадим Костин

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 178
  • Сообщений: 664
  • Карма: 42
  • Пол: Мужской
  • Награды SEO-специалист продвинутого уровня
    • Просмотр профиля
    • Горные лыжи и сноуборд

Оффлайн Вадим Костин

  • Ветеран
  • *****
Скиньте ссылку на сайт или robots.txt покажите что написано?

1. Были ли проблемы с продолжительной недоступностью сайта?
2. Как часто обновляете сайт?

Оффлайн MaxaonАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 4
  • Карма: 1
    • Просмотр профиля

Оффлайн MaxaonАвтор темы

  • Дебютант
  • *
Как раз сегодня робот яндекса зашёл на сайт, правда ещё ничего не проиндексировано. Проблем с продолжительной недоступностью сайта не было. Обновляю один-два раза в неделю http://na-poroge.ru/robots.txt

Добавлено: 06-06-2015, 10:25:14

В принципе, если робот яндекса посещает сайт, то проблема исчерпана. Спасибо за помощь.
« Последнее редактирование: 06-06-2015, 10:25:14 от Maxaon »


Оффлайн Вадим Костин

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 178
  • Сообщений: 664
  • Карма: 42
  • Пол: Мужской
  • Награды SEO-специалист продвинутого уровня
    • Просмотр профиля
    • Горные лыжи и сноуборд

Оффлайн Вадим Костин

  • Ветеран
  • *****
Удалить URL-адреса Используйте файл robots.txt, чтобы указать, как поисковые системы должны сканировать ваш сайт, или отправьте запрос на удаление URL из результатов поиска Google (ознакомьтесь с условиями удаления). Отправлять запросы на удаление могут только владельцы сайтов и пользователи с полным доступом

Можно не использовать, тогда url дольше будут находиться в индексе ПС. Выпадут сами если не ошибаюсь через 2 - 3 месяца

Добавлено: 06-06-2015, 10:49:24

Как раз сегодня робот яндекса зашёл на сайт, правда ещё ничего не проиндексировано. Проблем с продолжительной недоступностью сайта не было. Обновляю один-два раза в неделю http://na-poroge.ru/robots.txt

Добавлено: 06-06-2015, 10:25:14

В принципе, если робот яндекса посещает сайт, то проблема исчерпана. Спасибо за помощь.

Это хорошо, сейчас Вам нужно robots.txt подправить:

1. Напишите отдельную директиву для робота  User-agent: Yandex
2. Почему у Вас в пуникоде прописаны некоторые  директивы, ведь домен у Вас на латинице Disallow: /%D1%84%D0%BE%D1%82%D0%BE%D0%B0%D0%BB%D1%8C%D0%B1%D0%BE%D0%BC/y_44c0fd88 - нужно исправить на латиницу
3. Недопустимо наличие пустых переводов строки между директивами User-agent, Disallow и Allow.
4. Директиву host измените: Яндекс определил главное зеркало без www, а Google с www
Определитесь какое зеркало Вы хотите чтобы было главным и измените директиву Host:
Должно получиться:

Host: www.na-poroge.ru  или Host: na-poroge.ru

5. C картой sitemap.xml у Вас непорядок, почему страницы в пуникоде прописаны?

Добавлено: 06-06-2015, 10:52:10

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml - советы Яндекса по составлению файла robots.txt
« Последнее редактирование: 06-06-2015, 10:52:10 от Вадим Костин »

Оффлайн MaxaonАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 4
  • Карма: 1
    • Просмотр профиля

Оффлайн MaxaonАвтор темы

  • Дебютант
  • *
Отдельную дерективу для яндекса сделал. Ссылки в файле роботс я указывал на страницу без названия домена т.е. /фотоальбом/fgltlrxxrqc (может нужно было na-poroge.ru/фотоальбом/fgltlrxxrqc  ?)  . Как видите, в названии раздела кириллица и она преобразуется в пуникод.

Добавлено: 06-06-2015, 16:50:17

в гугл инструментах для вебмастера я указывал основной хост без www

Оффлайн Вадим Костин

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 178
  • Сообщений: 664
  • Карма: 42
  • Пол: Мужской
  • Награды SEO-специалист продвинутого уровня
    • Просмотр профиля
    • Горные лыжи и сноуборд

Оффлайн Вадим Костин

  • Ветеран
  • *****
Host пропишите без http://

По поводу пуникода
Отдельную дерективу для яндекса сделал. Ссылки в файле роботс я указывал на страницу без названия домена т.е. /фотоальбом/fgltlrxxrqc (может нужно было na-poroge.ru/фотоальбом/fgltlrxxrqc  ?)  . Как видите, в названии раздела кириллица и она преобразуется в пуникод.

Добавлено: 06-06-2015, 16:50:17

в гугл инструментах для вебмастера я указывал основной хост без www

C пуникодом все верно, а почему для яндекса пуникод не указали? Директиву Host: укажите без  http:// и в вебмастере укажите основное зеркало


 

Похожие темы