Снижение страниц в индексе обусловлено увеличением запрещенных страниц robot.txt

Автор Тема: Снижение страниц в индексе обусловлено увеличением запрещенных страниц robot.txt  (Прочитано 2418 раз)

Оффлайн borroАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 135
  • Сообщений: 526
  • Карма: 19
  • Пол: Мужской
  • желаю вам счастья
    • Для тех, кому нужен работающий и помогающий сайт

Оффлайн borroАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 135
    • Сообщений: 526
    • Карма: 19
    • Пол: Мужской
    • желаю вам счастья
      • Для тех, кому нужен работающий и помогающий сайт
Здравствуйте.

Заметил небольшую тенденцию снижения количества страниц в индексе. Проанализировав основные графики ЯВебмастера пришёл к выводу что на фоне снижения числа страниц в индексе наиболее заметным был планомерный рост числа страниц запрещённых к индексированию согласно robots.txt
Правомочны мои выводы?
Интересно, какие страницы при этом вышли из индекса, те которые были запрещены в robots.txt или в качестве штрафа за рост запрещённых в robots.txt ушли из индекса нормальные, незапрещённые страницы?


Оффлайн ewdokimow

  • Бизнес оценка: (0)
  • Мастер
  • *****
  • СПАСИБО: 1484
  • Сообщений: 5849
  • Карма: 143
  • Пол: Мужской
  • Евдокимов
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации
    • Книги

Оффлайн ewdokimow

  • Мастер
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 1484
    • Сообщений: 5849
    • Карма: 143
    • Пол: Мужской
    • Евдокимов
    • Награды Более одной тысячи спасибо КМС поисковой оптимизации
      • Книги
Ворос мне не понятен. Вы робот сами делали? Вы же там закрываете то, что считаете нужным. Дубли и т.п.
Ручная ковка металлов в художественном исполнении  для коттеджей в Истре

Онлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5266
  • Сообщений: 7272
  • Карма: 288
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • SEO, интернет-маркетинг, сайостроение

Онлайн vold57

  • Мастер
  • *****
Интересно, какие страницы при этом вышли из индекса, те которые были запрещены в robots.txt или в качестве штрафа за рост запрещённых в robots.txt ушли из индекса нормальные, незапрещённые страницы?
Ну так проверьте. Страницы, которые запретили в robots.txt, сейчас в индексе или нет. И сверьте по количеству.


Оффлайн borroАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 135
  • Сообщений: 526
  • Карма: 19
  • Пол: Мужской
  • желаю вам счастья
    • Для тех, кому нужен работающий и помогающий сайт

Оффлайн borroАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 135
    • Сообщений: 526
    • Карма: 19
    • Пол: Мужской
    • желаю вам счастья
      • Для тех, кому нужен работающий и помогающий сайт
Вы робот сами делали? Вы же там закрываете то, что считаете нужным. Дубли и т.п.
Сам делал. А что я там закрываю из того, что я считаю нужным? :) если бы я считал что-то нужным, я бы это не закрывал... конечно есть большой шанс, что я посчитал нужное ненужным. В ближайшее время я не редактировал robots.txt. Он устаканенный стоит уже долгое время без изменений(дата последнего редактирования файла написана 12.06.2014). Тут не в редактировании robots.txt причина

Добавлено: 29-10-2014, 11:46:48

Ну так проверьте. Страницы, которые запретили в robots.txt, сейчас в индексе или нет. И сверьте по количеству.
если я правильно понял ход Вашей мысли, то уже долгое время(получается чуть более 4 месяцев) я не редактировал robots.txt, чтобы точно знать, что должно было быть исключено из индекса
« Последнее редактирование: 29-10-2014, 11:53:00 от borro »

Оффлайн Zahar

  • Бизнес оценка: (1, 100%)
  • КМС
  • *****
  • СПАСИБО: 1170
  • Сообщений: 1927
  • Карма: 86
  • Пол: Мужской
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации

Оффлайн Zahar

  • КМС
  • *****
Заметил небольшую тенденцию снижения количества страниц в индексе.

где вы заметили тенденцию, на первом графике видно, что не изменяются стр в индексе


Оффлайн borroАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 135
  • Сообщений: 526
  • Карма: 19
  • Пол: Мужской
  • желаю вам счастья
    • Для тех, кому нужен работающий и помогающий сайт

Оффлайн borroАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 135
    • Сообщений: 526
    • Карма: 19
    • Пол: Мужской
    • желаю вам счастья
      • Для тех, кому нужен работающий и помогающий сайт
где вы заметили тенденцию, на первом графике видно, что не изменяются стр в индексе
то есть снижение, начавшееся с 1 октября, вы считаете статистически незначимым?

Оффлайн Zahar

  • Бизнес оценка: (1, 100%)
  • КМС
  • *****
  • СПАСИБО: 1170
  • Сообщений: 1927
  • Карма: 86
  • Пол: Мужской
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации

Оффлайн Zahar

  • КМС
  • *****
..статистически незначимым

именно так, и нет никаких штрафов за использование robots.txt
возможно ранее в индексе были неканонические, пустые или 404 стр, вот они и выпали.

Оффлайн ewdokimow

  • Бизнес оценка: (0)
  • Мастер
  • *****
  • СПАСИБО: 1484
  • Сообщений: 5849
  • Карма: 143
  • Пол: Мужской
  • Евдокимов
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации
    • Книги

Оффлайн ewdokimow

  • Мастер
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 1484
    • Сообщений: 5849
    • Карма: 143
    • Пол: Мужской
    • Евдокимов
    • Награды Более одной тысячи спасибо КМС поисковой оптимизации
      • Книги
За робот не могут быть санкции, скорее преференции от ПС.  В Вебмастере всегда можно проверить робот. Если нужные страницы вылетели, то проверьте эти улы через робот Вебмастера, если они не закрыты от индексации, то причина в другом, не в роботе.
Ручная ковка металлов в художественном исполнении  для коттеджей в Истре

Оффлайн borroАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 135
  • Сообщений: 526
  • Карма: 19
  • Пол: Мужской
  • желаю вам счастья
    • Для тех, кому нужен работающий и помогающий сайт

Оффлайн borroАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 135
    • Сообщений: 526
    • Карма: 19
    • Пол: Мужской
    • желаю вам счастья
      • Для тех, кому нужен работающий и помогающий сайт
а как вы определяете, какие страницы вылетели, когда их более 1000 в индексе висит?


Оффлайн ewdokimow

  • Бизнес оценка: (0)
  • Мастер
  • *****
  • СПАСИБО: 1484
  • Сообщений: 5849
  • Карма: 143
  • Пол: Мужской
  • Евдокимов
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации
    • Книги

Оффлайн ewdokimow

  • Мастер
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 1484
    • Сообщений: 5849
    • Карма: 143
    • Пол: Мужской
    • Евдокимов
    • Награды Более одной тысячи спасибо КМС поисковой оптимизации
      • Книги
Вот еще про робот http://www.sbup.com/seo-forum/poiskovye_tehnologii/googlebot_teper_skaniruet_css_i_javascript/

Есть софт для этого. Плагины (RDS) для браузера..   Вы можете выборочно посмотреть станицы на вашем сайте руками. Например, Яндекс добавил в Вебмастер функцию "Проверить URL" и др.
Ручная ковка металлов в художественном исполнении  для коттеджей в Истре


 

Похожие темы

  Тема / Автор Ответов Последний ответ
7 Ответов
5406 Просмотров
Последний ответ 17-10-2011, 17:29:42
от Caprican
8 Ответов
3019 Просмотров
Последний ответ 28-06-2012, 13:45:35
от DmitriyM
5 Ответов
1829 Просмотров
Последний ответ 28-08-2013, 00:41:43
от Cergo
10 Ответов
3685 Просмотров
Последний ответ 14-12-2013, 07:06:51
от mrkaban
6 Ответов
1097 Просмотров
Последний ответ 22-02-2014, 20:11:45
от Zahar