Индексация страниц

Автор Тема: Индексация страниц  (Прочитано 1617 раз)

Оффлайн anotcherАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 7
  • Карма: 1
  • Пол: Мужской
    • Аномальное и непознанное рядом

Оффлайн anotcherАвтор темы

  • Дебютант
  • *
Индексация страниц
« : 10-08-2014, 14:45:06 »
В яндексе долгое время держится малое количеств страниц(34) до этого было 45(сайт еще молодой) при попытке выяснить почему снизилось количество страниц обнаружил"Страница обходится роботом, но отсутствует в поиске, поскольку дублирует уже имеющиеся на вашем сайте страницы.", не могу понять откуда взялись дубли, все страници представленны в единственном экземпляре.файл роботс выглядит так
Цитировать
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-include
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /category
Disallow: /page
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /step/.....
Disallow: /go
Disallow: /goto
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /uploads
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /category
Disallow: /page
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /go
Disallow: /goto
Disallow: /step/.....
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /uploads
Sitemap: http://ufomir.ru/sitemap.xml
Host:    http://ufomir.ru
подскажите из за чего возникает такая надпись о дублях страниц, где еще нужно закрыть дубли в роботсе.
если создал тему не в том разделе прошу меня извинить :)


Оффлайн Zahar

  • Бизнес оценка: (1, 100%)
  • КМС
  • *****
  • СПАСИБО: 1170
  • Сообщений: 1927
  • Карма: 86
  • Пол: Мужской
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации

Оффлайн Zahar

  • КМС
  • *****
Re: Индексация страниц
« Ответ #1 : 10-08-2014, 18:40:43 »
ufomir.ru 
Яндекс   68 стр
Гугл       55/198

Добавлено: 10-08-2014, 18:46:05

Для гугла лучше ставить <meta name="robots" content="noindex, follow"/>
и открывать в robots.txt чтобы не было так
(нажмите чтобы показать/скрыть)
« Последнее редактирование: 10-08-2014, 18:46:05 от Zahar »

Оффлайн web

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 388
  • Сообщений: 925
  • Карма: 53
  • Пол: Мужской
  • No bees – no honey....... No work – no money

Оффлайн web

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 388
    • Сообщений: 925
    • Карма: 53
    • Пол: Мужской
    • No bees – no honey....... No work – no money
Re: Индексация страниц
« Ответ #2 : 10-08-2014, 19:01:28 »
anotcher, у вас неправильно составлен robots.txt

Цитировать
В соответствии со стандартом перед каждой директивой 'User-agent' рекомендуется вставлять пустой перевод строки
Подробнее здесь: http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

Не нужно дублировать мета-теги, повторяющиеся keywords:
http://ufomir.ru/na-myse-kanaveral-xranitsya-prishelec.html
http://ufomir.ru/prishelcy-vedut-otbor-zemlyan.html

Оффлайн anotcherАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 7
  • Карма: 1
  • Пол: Мужской
    • Аномальное и непознанное рядом

Оффлайн anotcherАвтор темы

  • Дебютант
  • *
Re: Индексация страниц
« Ответ #3 : 10-08-2014, 21:17:32 »
ufomir.ru 
Яндекс   68 стр
Гугл       55/198

Добавлено: 10-08-2014, 18:46:05

Для гугла лучше ставить <meta name="robots" content="noindex, follow"/>
и открывать в robots.txt чтобы не было так
(нажмите чтобы показать/скрыть)
странно у меня в веб-мастере указано 34 страницы в поиске, правда рядом с цифрой уже длительное время стоит стрелочка вверх)))

Добавлено: 10-08-2014, 21:33:41

anotcher, у вас неправильно составлен robots.txt
Подробнее здесь: http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

Не нужно дублировать мета-теги, повторяющиеся keywords:
http://ufomir.ru/na-myse-kanaveral-xranitsya-prishelec.html
http://ufomir.ru/prishelcy-vedut-otbor-zemlyan.html
я как понимаю, директивы user-agent yandex нужно отделять от других агентов пробелом так? чтоб была свободная строка?
и названия статей желательно делать разными чтобы повторяющихся ключевиков не было?
« Последнее редактирование: 10-08-2014, 21:33:41 от anotcher »

Оффлайн Zahar

  • Бизнес оценка: (1, 100%)
  • КМС
  • *****
  • СПАСИБО: 1170
  • Сообщений: 1927
  • Карма: 86
  • Пол: Мужской
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации

Оффлайн Zahar

  • КМС
  • *****
Re: Индексация страниц
« Ответ #4 : 10-08-2014, 21:47:26 »
странно у меня в веб-мастере указано 34 страницы в поиске, правда рядом с цифрой уже длительное время стоит стрелочка вверх)))
да, сейчас, 34, то ли я не то посмотрел, толи быстробот шалил(скрины нужно делать)))
быстробот ставит в выдачу, затем выпадает, бывает такое на статейниках
Категории закрыты, индексируются только статьи, 59 в количестве
Новые статьи на молодых блогах туговато индексируются Яндексом.
Используйте расшаривание в социалках, стимулируйте комментирование


Оффлайн web

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 388
  • Сообщений: 925
  • Карма: 53
  • Пол: Мужской
  • No bees – no honey....... No work – no money

Оффлайн web

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 388
    • Сообщений: 925
    • Карма: 53
    • Пол: Мужской
    • No bees – no honey....... No work – no money
Re: Индексация страниц
« Ответ #5 : 10-08-2014, 21:52:03 »
я как понимаю, директивы user-agent yandex нужно отделять от других агентов пробелом так? чтоб была свободная строка?

Да, и sitemap.xml отделите отдельной строкой, если в вашем robots.txt прописано несколько User-agent, чтобы не указывать его каждому поисковику в отдельности.
В качестве примера смотрите следующее видео.

<a href="http://www.youtube.com/watch?v=TaOb21N5Gho" target="_blank">http://www.youtube.com/watch?v=TaOb21N5Gho</a>

и названия статей желательно делать разными чтобы повторяющихся ключевиков не было?

Не повторяйте title, description и keywords в пределах всего сайта

Оффлайн anotcherАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 7
  • Карма: 1
  • Пол: Мужской
    • Аномальное и непознанное рядом

Оффлайн anotcherАвтор темы

  • Дебютант
  • *
Re: Индексация страниц
« Ответ #6 : 10-08-2014, 23:09:35 »
Да, и sitemap.xml отделите отдельной строкой, если в вашем robots.txt прописано несколько User-agent, чтобы не указывать его каждому поисковику в отдельности.
В качестве примера смотрите следующее видео.

newbielink:http://www.youtube.com/watch?v=TaOb21N5Gho <span class="alert smalltext" title="To curb spam posts, external links are [nonactive] until 10 posts">[nonactive]</span>

Не повторяйте title, description и keywords в пределах всего сайта
спасибо за совет, попробую воспользоваться)) :)

Добавлено: 10-08-2014, 23:13:00

да, сейчас, 34, то ли я не то посмотрел, толи быстробот шалил(скрины нужно делать)))
быстробот ставит в выдачу, затем выпадает, бывает такое на статейниках
Категории закрыты, индексируются только статьи, 59 в количестве
Новые статьи на молодых блогах туговато индексируются Яндексом.
Используйте расшаривание в социалках, стимулируйте комментирование
я категории потому и закрыл боюсь дубли от них пойдут, или от них дубли не идут?может стоит разрешить  индексации? в социалах расшариваю, после написания каждой статьи  в соцсети анонсы закидываю)
« Последнее редактирование: 10-08-2014, 23:13:00 от anotcher »


 

Похожие темы

  Тема / Автор Ответов Последний ответ
1 Ответов
1830 Просмотров
Последний ответ 17-01-2011, 11:13:09
от KaZaK
0 Ответов
677 Просмотров
Последний ответ 08-08-2015, 19:00:24
от musorhik
1 Ответов
835 Просмотров
Последний ответ 09-12-2017, 23:30:28
от Ivan_SEO
5 Ответов
3691 Просмотров
Последний ответ 11-12-2017, 14:33:24
от belspirit
9 Ответов
940 Просмотров
Последний ответ 10-03-2020, 01:25:23
от Алексей Наталушко