Блог угодил под АГС из-за дублей. Что не так в роботсе?

[SimReg]

Добрый день!

Мой блог http://newcoding.ru/ на котором я потихоньку пописываю интересные заметки для людей и не делаю ничего дурного, угодил под АГС Яндекса, в поиске осталась одна страница. В панели вебмастера при проверке URL страниц говорят, что робот отказывается их индексировать из-за дублей.

Гугл никаких санкций не применил, и через запрос site:newcoding.ru я увидел в поисковой выдаче кучу всякой гадости, навроде:

.../wp-content/plugins/syntaxhighlighter/syntaxhighlighter2/styles/shThemeMidnight.css?ver=2.1.364
.../wp-includes/js/jquery/jquery.js?ver=1.7.2
.../wp-login.php?redirect_to=http%3A%2F%2Fnewcoding.ru%2Fabout

А ведь и /wp-content, /wp-content/plugins/, wp-includes/ и всё такое прочее вплоть до wp-login.php закрыты в robots.txt - и в прошлом году всё работало хорошо, служебная пакость в индекс не попадала!

Фиды к постам типа newcoding.ru/web/nachinaem-osvaivat-rightjs.html/feed - также внезапно попали в поиск, хотя feed-ы закрыты в роботсе. Также в индексе Гугла внезапно оказались всякие страницы типа:

http://newcoding.ru/?m=200809
http://newcoding.ru/?p=3

при переходе на которые пишется "Ничего не найдено", т.е. таких страниц вообще нет. При этом в роботсе закрыты страницы вида "/*?" и "/*?*"


Вот мой robots.txt, про который Яндекс-вебмастер говорит что он без ошибок:

User-agent: *
Disallow: /cgi-bin
Disallow: /downloadfiles
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: */feed
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Crawl-delay: 2.5

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /downloadfiles
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: */feed
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Crawl-delay: 2.5
Host: newcoding.ru
Sitemap: http://newcoding.ru/sitemap.xml
Sitemap: http://newcoding.ru/sitemap.xml.gz

Вот что в нём не так? Год назад вся упомянутая пакость в индекс не попадала, а сейчас вдруг попала!

Заранее спасибо!

[Rencontrez]

Нужно убрать категории из адреса. Так же запретить индексацию их. Вот как у меня выглядет категория в адресе. http://www.krasbaks.ru/web-masteram/
Добавлено: 04-04-2014, 14:42:22

Вот недавно у меня слетели настройки и опять начали отображаться категории и яша не задремал, АГС прямым ходом. Сейчас всё норм и без всяких санкций.
Добавлено: 04-04-2014, 14:44:09

Лишние ссылки тоже стоит убрать и ускорить загрузку сайта.

[SimReg]

Rencontrez писал:

Нужно убрать категории из адреса. Так же запретить индексацию их.

Вы имеете в виду чтобы вместо ссылок вида "http://newcoding.ru/drupal/info-file-themes-kontsi-strok-cr-lf.html" была ссылка вида http://newcoding.ru/info-file-themes-kontsi-strok-cr-lf.html без /drupal/ между именем блога и названием материала?

А в robots.txt итак запрещена индексация: Disallow: /category...

Но почему в поиск лезет гадость из папок /wp-include, /wp-content несмотря на запрет в robots? Значит всё-таки какие-то там ошибки в директивах!

[Rencontrez]

Как я слышал сейчас на ноиндекс мало реагирует яша. Он советует материалы заставлять им но не ссылки. Попробуйте убрать category и черкните пару строк платону.
Добавлено: 04-04-2014, 15:01:20

Извеняюсь сам еле понял что написал =) Постоянные ссылки можно изменить. Гугл в помощь. Пройдитесь по сайтам и почитайте инфу =) Я могу вывести из АГС но это платно.

[Sky-fi]

SimReg, используйте rel=canonical, чтобы закрыть все лишнее. Да и роботс у вас не совсем корректно прописан.
И еще одно. Из-за дублирования Яндекс не наложил бы АГС. Определенно, еще есть проблемы.

[Rencontrez]

И еще одно. Из-за дублирования Яндекс не наложил бы АГС. Определенно, еще есть проблемы.

А почему тогда у меня из-за категорий постиг АГС?
Добавлено: 04-04-2014, 17:07:44

Из-за категорий идёт дублирование контента. Отрывок же пишется статьи на вордпресс в категории.

[Sky-fi]

А почему тогда у меня из-за категорий постиг АГС?

Могло получится, как переполненной чашей: были проблемы, потом появилась еще одна проблема, и сработал фильтр.

Но не думаю, что проблема была лишь в том, что проиндексировались категории.

[Rencontrez]

Могло получится, как переполненной чашей: были проблемы, потом появилась еще одна проблема, и сработал фильтр.

Но не думаю, что проблема была лишь в том, что проиндексировались категории.

А в чём тогда? Я у брал категории и оПА опять в индексе!
Добавлено: 04-04-2014, 18:40:17

Я соображаю в  вордпоесс так дайте дорогу ему а не ДЛЕ!

[zanuda]

Rencontrez писал:Вы имеете в виду чтобы вместо ссылок вида "http://newcoding.ru/drupal/info-file-themes-kontsi-strok-cr-lf.html" была ссылка вида http://newcoding.ru/info-file-themes-kontsi-strok-cr-lf.html без /drupal/ между именем блога и названием материала?
....

Нет, имеется ввиду, что в вордпрессе, когда создается статья, она доступна по разным адресам, через тэги, категории и архивы. Или, если вы публикуете не статью, а анонсы, то это будет проишодить с анонсами. т.е. выдача главная страница сильно совпадает с выдачей категории, тэгов и архивив. Архивы совпадают на 100%, категории и тэги - кусками. И когда статья идет под несколькими категориыми и тэгами, то шодство с главной усиливается. Вобщем, поэтому надо закрывать тэги, архивы. Гугл терпит категории незакрытыми про условии, что статья идет только в одну категорию и при публикации вы не постите долго подряд в одну и ту же категорию.

...
Но почему в поиск лезет гадость из папок /wp-include, /wp-content несмотря на запрет в robots? Значит всё-таки какие-то там ошибки в директивах!

Именно с роботсом не подскажу - у меня все через плагин закрыто. А вот системные вещи точно не должны лезть. Когда-то что-то было, точно не помню, на форуме, посоветовали вернуть ЧПУ в дефолтное, а потом обратно. При настройке Вордпресс автоматом пишет роботс и если где-то какой-то глюк произошел, то может исправится. У меня, кстати, было как-то, что ни с того ни с сего адреса стали писаться как дефолтные. Хорошо, что сразу вспомнилось, думаю, чем черт ни шутит, хоже точно не станет. Без всякого обьяснения после перенастройки все стало на место.

[SimReg]

Sky-fi писал:

SimReg, используйте rel=canonical, чтобы закрыть все лишнее. Да и роботс у вас не совсем корректно прописан.
И еще одно. Из-за дублирования Яндекс не наложил бы АГС. Определенно, еще есть проблемы.

Извиняюсь за долгое отсутствие, а в чем некорректность роботса?