Проблема с Яндексом. 2-ой месяц не сплю!

Kevin Mesh · 25-01-2014, 14:59:12

Всем привет! Товарищи, спецы своего дела, помогите мне, школоте пузатой, решить проблему

. Имеется пациент http://next-invest.ru/ на котором порядка 350 страниц. С начала сентября 2013 яша начал выкидывать страницы из индекса, и на данный момент в индексе 70-80 страниц. Контент уникальный, по 3000 символов на странице. Все страницы открыты к индексации с кодом ответа 200, дублей страниц нет ( а категории с частями дублированного текста имеют тег noindex,follow) и всевозможный технический шлак – закрыт от индексации. Ссылками не торгую. Робот заходит на сайт практически каждый день, в исключенных страницах присутствуют только те которые я намерено закрыл от индексации. Публикуя новый материал тут же загоняю его в г+ и я.ру, после чего статьи индексируются за пару часов, однако со временем, апа так за 2, статьи из индекса вылетают. Помогите, плиз! Я уже не первый день не могу понять в чем может быть причина.

P.S. В последнее время грешу на внутренние ссылки, их на каждой странице порядка 80-90 (просто ето структура сайта такая). Кстати с гуглом все супер.

VOVKA772007 · 25-01-2014, 15:22:09

1. Некорректно настроен robots.txt: сначала пишутся директивы (правила) для Яндекс, затем для всех остальных ботов (*). Правило "Host:" для Яндекс пишется через одну строку после последнего запрета Disallow, ссылка на карту сайта - не через строку, а сразу после (ниже с новой строки) "Host".
2. Внутренние ссылки должны открываться в текущем окне (target="_self") , не в новом (target="_blank")
3. Отсутствуют Meta-Description и Meta-Keywords в материалах: навскидку взял 3 разных: ни в одном нет!

В общем: нужно проводить внутреннюю оптимизацию, а потом жаловаться на ПС

Kevin Mesh · 25-01-2014, 15:42:35

Цитата: VOVKA772007 от 25-01-2014, 15:22:09
1. Некорректно настроен robots.txt: сначала пишутся директивы (правила) для Яндекс, затем для всех остальных ботов (*). Правило "Host:" для Яндекс пишется через одну строку после последнего запрета Disallow, ссылка на карту сайта - не через строку, а сразу после (ниже с новой строки) "Host".
2. Внутренние ссылки должны открываться в текущем окне (target="_self") , не в новом (target="_blank")
3. Отсутствуют Meta-Description и Meta-Keywords в материалах: навскидку взял 3 разных: ни в одном нет!

В общем: нужно проводить внутреннюю оптимизацию, а потом жаловаться на ПС

1. Эти проблемы были и без robots.txt (проверяю через вебмастер - все статьи доступны для индексации)
2."Внутренние ссылки должны открываться в текущем окне" как по мне сомнительное утверждение, может я и неправ, но какое это отношение к делу имеет - я не понимаю. ( да и таких страниц 5-6)
3. Где вы эти статьи откопали ( без Description ) - во всех записях есть <meta name="description", а Meta-Keywords накой? его поисковики все равно не учитывают.

VOVKA772007 · 25-01-2014, 20:38:34

1. Конечно видимых проблем с robots.txt не будет: ведь сначала идет правило (*) для всех ботов - его и читает Яндекс бот, а до карты сайта и основного домена - не доходит! Сначала ведь правила для всех ботов: вот он читает с (*) и уходит!
2. Вы слышали о поведенческих факторах ранжирования!? Представьте: заходит человек на страницу, через 2 секунды, видит ссылку скачать, нажимает... и уходит на новую вкладку (в новом окне) не остается на сайте, а переходит по target="_blank" => отказ 100%.
3. Я высказал свое личное мнение (как разработчик веб ресурсов, оптимизатор и SEO специалист с опытом). Прислушиваться или гнуть свою линию - решать конечно же Вам! Просто пожалел и решил бесплатно помочь новичку!

Kevin Mesh · 25-01-2014, 21:04:31

Цитата: VOVKA772007 от 25-01-2014, 20:38:34
1. Конечно видимых проблем с robots.txt не будет: ведь сначала идет правило (*) для всех ботов - его и читает Яндекс бот, а до карты сайта и основного домена - не доходит! Сначала ведь правила для всех ботов: вот он читает с (*) и уходит!
2. Вы слышали о поведенческих факторах ранжирования!? Представьте: заходит человек на страницу, через 2 секунды, видит ссылку скачать, нажимает... и уходит на новую вкладку (в новом окне) не остается на сайте, а переходит по target="_blank" => отказ 100%.
3. Я высказал свое личное мнение (как разработчик веб ресурсов, оптимизатор и SEO специалист с опытом). Прислушиваться или гнуть свою линию - решать конечно же Вам! Просто пожалел и решил бесплатно помочь новичку!

Я не в коем случаи не хотел и не хочу вас как то задеть, и то что вы решили помочь - это много стоит. Я искренне ценю ваши ответы, и приму их во внимание, просто решил высказать свое мнение - может просто получилось не совсем аккуратно, извините. По поводу поведенческих факторов - о них слышал. Просто, мое мнение, посещалка в 40-50 человек в сутки врят ли на что то может повлиять, тем не менее количество просмотров на 1 посетителя 5-8, и длительность 5,6 минут на посетителя. Однако с такой посещалкой ставить метрику просто напросто боюсь... вдруг вобще все в тар тарары улетит). И еще написал в яндекс, вот ответ:
Здравствуйте, Андрей!

Мы проверили, Ваш сайт присутствует в поиске и находится пользователями. Но часть страниц, действительно, отсутствует в результатах поиска, при этом никаких санкций на них не наложено.

Наши алгоритмы устроены так, чтобы на запросы пользователей давать наиболее полный ответ, и в связи с этим в результаты поиска попадают наиболее релевантные и уникальные страницы сайтов: см. http://help.yandex.ru/webmaster/?id=1114408 .

О наших рекомендациях по развитию сайта Вы можете прочитать на следующих страницах:

http://help.yandex.ru/webmaster/?id=1108944

http://help.yandex.ru/webmaster/?id=1108945

При этом наш робот помнит о других страницах сайта; если на них присутствуют ссылки, он периодически переобходит их, и со временем они также могут быть включены в результаты поиска. Но, к сожалению, гарантировать включение тех или иных страниц в результаты поиска мы не можем.

Добавлено: 25-01-2014, 21:22:30

Так будет правильно?

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /?feed=
Disallow: /share42
Disallow: /?s=
Disallow: /?m=

Host: next-invest.ru
Sitemap: http://next-invest.ru/sitemap.xml

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /?feed=
Disallow: /share42
Disallow: /?s=
Disallow: /?m=

Host: next-invest.ru
Sitemap: http://next-invest.ru/sitemap.xml

Добавлено: 25-01-2014, 21:25:25

При проверки пишет "Найдено несколько директив Host"

Добавлено: 25-01-2014, 21:35:16

.....
Disallow: /?feed=
Disallow: /share42
Disallow: /?s=
Disallow: /?m=

Sitemap: http://next-invest.ru/sitemap.xml

убрал в конце хост... вроде все норм...?

Leekun · 25-01-2014, 21:56:41

Не у вас одних страницы выпадали

На форуме даже несколько веток уже открывали по этому поводу. Видимых причин нет но страницы выпадали. Но на моем сайте за последнии 2 дня страницы начали возвращаться. надеюсь и у вас ситуация пойдет на лад.

Kevin Mesh · 25-01-2014, 22:03:44

Цитата: Leekun от 25-01-2014, 21:56:41
Не у вас одних страницы выпадали На форуме даже несколько веток уже открывали по этому поводу. Видимых причин нет но страницы выпадали. Но на моем сайте за последнии 2 дня страницы начали возвращаться. надеюсь и у вас ситуация пойдет на лад.

Я тоже надеюсь, правда этот шурум бурум уже длится 2 месяца...

VOVKA772007 · 25-01-2014, 22:18:19

Правильный robots.txt для Вашего сайта:

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /?feed=
Disallow: /share42
Disallow: /?s=
Disallow: /?m=

Host: next-invest.ru
Sitemap: http://next-invest.ru/sitemap.xml

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /?feed=
Disallow: /share42
Disallow: /?s=
Disallow: /?m=

Kevin Mesh · 25-01-2014, 22:20:47

Цитата: VOVKA772007 от 25-01-2014, 22:18:19
Правильный robots.txt для Вашего сайта:

Спасибо! Сейчас поправлю.... Поправил... Надеюсь это как то повлияет на процесс )

bigger · 26-01-2014, 04:35:55

Цитата: Kevin Mesh от 25-01-2014, 14:59:12
P.S. В последнее время грешу на внутренние ссылки, их на каждой странице порядка 80-90 (просто ето структура сайта такая). Кстати с гуглом все супер.

Количество внутренних ссылок не влияет на количество страниц в индексе. Что касаемо индекса - количество всегда плавает, на моем примере от 2 т. стр. до 6 т. стр. Относитесь к этому спокойно.