Количества проиндексированных страниц у Google

Автор Тема: Количества проиндексированных страниц у Google  (Прочитано 5099 раз)

Оффлайн AvadonАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 455
  • Сообщений: 1320
  • Карма: 40
  • Пол: Мужской
  • Награды Мастер вывода в Яндекс ТОП 1 За благотворительность Самая быстрая регистрация (индексация) сайта в Яндекс

Оффлайн AvadonАвтор темы

  • Ветеран
  • *****
Лопается терпение, помогите успокоится  ???
Примерно месяц назад закрыл нафиг через роботс несколько сот (около 300 технических) страниц от индексации.
Так вот проблема в том, что сразу в течении недели изменения вступили в силу, но как то странно, количество страниц в индексе осталось столько же, но если пролистать выдачу, то видно что реально в выдаче всего примерно 230 страниц.
Прошёл месяц и ситуация ещё усугубилась, теперь по запросу:  site:animeb.ru выдаёт уже не 600 страниц а 800, то есть ещё прибавилось.
Но блин опять же если пролистать выдачу до конца, то реально показывает опять же примерно около 230 страниц.....
В панели вебмастера заблoкированные страницы чётко отображаются:"Заблoкирован файлом robots.txt ‎(406)‎" и если искать эти страницы в поиске они не находятся. 
Игорь что за ерунда? Подскажи... неужели надо так долго ждать изменений выдачи гугла, а он между делом пока я жду только увеличивает количество страниц и как посмотреть что за несуществующие страницы он индексирует?


Оффлайн alexsanris

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 4
  • Сообщений: 20
  • Карма: 1
  • Пол: Мужской
    • Программы для сайта

Оффлайн alexsanris

  • Рекрут
  • *
В настоящее время robots.txt по моему  работает на половину. Я с этой проблемой столкнулся полгода назад и не только я один .  Если  посмотреть количество страниц (Программа Site- auditor)в индексе поисковых систем Яндекс и Google, то количество страниц очень сильно отличается от "опубликованных". Я борюсь с этим с помощью запретов  через плагин Robots Meta , но это работает только в Wordpress

Оффлайн mixa33rus

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 219
  • Сообщений: 937
  • Карма: 50
  • Пол: Мужской
  • Награды КМС поисковой оптимизации

Оффлайн mixa33rus

  • Ветеран
  • *****
Из хэлпа гугла:
блoкирование сканирования Google

Цитировать
Следует отметить, что даже если вы запретите поисковым роботам сканировать содержание вашего сайта с помощью файла robots.txt, возможно, что Google обнаружит его другими способами и добавит в индекс. Например, на ваш контент могут ссылаться другие сайты.

Цитировать
Используйте метатег noindex, чтобы содержание не появлялось в наших результатах поиска. При наличии метатега noindex на странице Google исключает всю страницу из наших результатов поиска, даже если на нее ссылаются другие страницы. Если содержание уже присутствует в нашем индексе, оно будет удалено при следующем сканировании.

В общем, если страница попала в индекс гугла, то так просто через robots ее не удалишь.
У меня у сайта news-avtoblog.ru в индексе гугла 1200 страниц, в реале около 300. Много мусора...

На новом сайте тоже стали появляться запрещенные мусорные  страницы. Удалил с помощью фичи "удалить url" в вебмастере. Удалит если страница возвращает код ошибки 404 или индексирование страницы запрещено в файле robots.txt, либо метатегом noindex. Как и в яндексе, там тоже удаление страниц есть.


Добавлено: 02-07-2011, 14:00:09

Планирую спарсить страницы news-avtoblog.ru из выдачи гугла, потом вручную удалять.
« Последнее редактирование: 02-07-2011, 14:00:09 от mixa33rus »
Побеждает в этой жизни только тот, кто победил сам себя. Кто победил свой стрaх, свою лень, и свою неуверенность.

Оффлайн AvadonАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 455
  • Сообщений: 1320
  • Карма: 40
  • Пол: Мужской
  • Награды Мастер вывода в Яндекс ТОП 1 За благотворительность Самая быстрая регистрация (индексация) сайта в Яндекс

Оффлайн AvadonАвтор темы

  • Ветеран
  • *****
alexsanris, можно ссылку где вы это прочитали?
mixa33rus, всё это я проделал месяц назад, вопрос в том почему по запросу: site:animeb.ru пишет что:"Результатов: примерно 859", хотя реально если просматривать страницы выдачи их всего чуть больше 230?

Оффлайн Sevab

  • Администратор
  • Бизнес оценка: (6, 100%)
  • *****
  • СПАСИБО: 9916
  • Сообщений: 14532
  • Карма: 665
  • Пол: Мужской
    • Trust Directory Project

Оффлайн Sevab

  • Администратор
  • *****
Согласен с mixa33rus. Добавлю что еще тег <link rel="canonical" href="основной урл" не помешает.


Оффлайн mixa33rus

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 219
  • Сообщений: 937
  • Карма: 50
  • Пол: Мужской
  • Награды КМС поисковой оптимизации

Оффлайн mixa33rus

  • Ветеран
  • *****
Avadon, поиск опускает некоторые результаты. На последней странице результатов будет ссылка "Если вы хотите, можно повторить поиск, включив опущенные результаты. "


Добавлено: 02-07-2011, 14:32:13

Но их все-равно меньше. Это я не знаю как объяснить :)
« Последнее редактирование: 02-07-2011, 14:32:13 от mixa33rus »
Побеждает в этой жизни только тот, кто победил сам себя. Кто победил свой стрaх, свою лень, и свою неуверенность.


 

Похожие темы