Помогите разобраться с индексацией сайта.

Автор Тема: Помогите разобраться с индексацией сайта.  (Прочитано 2686 раз)

Оффлайн JaguarАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 0
  • Сообщений: 13
  • Карма: 1

Оффлайн JaguarАвтор темы

  • Рекрут
  • *
Решила заняться наведением порядка на сайте.
Полезла в яндекс и посмотрела какие страницы проиндексированы, оказалось, что в поиске находятся страницы типа: http://мой_сайт/post111, http://мой_сайт/post222 и т.д. Что вообщем-то и требовалось.
Затем открыла в том же Яндексе структуру проиндексированного сайта.
Согласно этим данным, у меня оказались проиндексированы:
*страницы с постами, но уже принадлежащие соответствующим категориям*
мой_сайт
- category_name=idea& 
- category_name=technics&
- category_name=thought&
*на каждую страницу выводится 5 постов, соответственно ниже проиндексировались посты на четырех страницах, в действительности страниц >10*
page/

-2?
* дальше почему-то влезла доп.индексация постов на второй странице еще проиндексированная отдельна по категориям*
--category_name=idea&
--category_name=technics&
-3?
-4?
*а дальше я вообще ничего не понимаю. Проиндексировалась только одна категория техника, часть дат, теги*
-category/
--technics/
--date/
--- 2010/
----07/
----08/
--- 2011/
*теги, которые запрещены к индексации не в robot.txt, а средствами wordpress*
--tag/
*вновь теги, которые запрещены к индексации*
-tag/
*одна категория вместо четырех*
-technics/

Черточками я попыталась описать иерархию вложенности.
Согласно этим данным у меня избыточная переиндексация и мне нужно что-то делать.
Но я не понимаю две вещи:
1. Если у меня переизбыточная индексация, то почему я не вижу в результатах поиска по индексированным страницам своего сайта страницы типа
http://мой_сайт/категория/post111
http://мой_сайт/тэг/post111
http://мой_сайт/2011/08/post111
2. В чем мне надо наводить порядок в robot.txt? В sitemap?
Буду признательна, если укажите, конкретные примеры решения проблемы.


Оффлайн zloberman

  • Бизнес оценка: (7, 100%)
  • КМС
  • *****
  • СПАСИБО: 468
  • Сообщений: 1546
  • Карма: 90
  • Пол: Мужской
  • Награды КМС поисковой оптимизации
    • Сайт Яра Громова

Оффлайн zloberman

  • КМС
  • *****
у вас wordpress

поищите по форуму темы robot.txt для wordpress - поможет удалить зеркала страниц из индексации
поиск по гуглу - внутренняя оптимизация wordpress

Оффлайн bat

  • Бизнес оценка: (3, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 248
  • Сообщений: 916
  • Карма: 32
  • Пол: Мужской
  • было бы че...
    • Развлекательный портал 2Cool.ru

Оффлайн bat

  • Ветеран
  • *****
Сначала делаем robots.txt с таким содержанием:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-content/cache
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-content/cache
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: вашсайт.ru

Sitemap: http://site.ru/sitemap.xml
Sitemap: http://site.ru/sitemap.xml.gz


Далее просто ждем переиндексации и обновления кеша пс. Если уж очень не терпится можно обратиться в службу поддержки пс с просьбой удалить из выдачи url которых не существует.

Оффлайн nemetc

  • Бизнес оценка: (2, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 573
  • Сообщений: 1234
  • Карма: 62
  • Пол: Мужской
  • заходи если что...
  • Награды КМС поисковой оптимизации

Оффлайн nemetc

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (2, 100%)
    • СПАСИБО: 573
    • Сообщений: 1234
    • Карма: 62
    • Пол: Мужской
    • заходи если что...
    • Награды КМС поисковой оптимизации
bat, посмотри

знаки вопросов, а должно быть хотя бы:
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.

Оффлайн mark3000

  • Бизнес оценка: (8, 100%)
  • КМС
  • *****
  • СПАСИБО: 1438
  • Сообщений: 2686
  • Карма: 119
  • Пол: Мужской
  • практикующий мечтатель
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации
    • Правильный софт для SEO оптимизатора

Оффлайн mark3000

  • КМС
  • *****
  • Доп. информация
    • Бизнес оценка: (8, 100%)
    • СПАСИБО: 1438
    • Сообщений: 2686
    • Карма: 119
    • Пол: Мужской
    • практикующий мечтатель
    • Награды Более одной тысячи спасибо КМС поисковой оптимизации
      • Правильный софт для SEO оптимизатора
nemetc, У меня кстати Яндекс такое: Disallow: /*?* читает нормально. это от формы комментария ерунда всякая лезет.
SEO софт: LINKOSCOP 4.2 (расширенная работа с внутренней перелинковкой) | SELIS (анализ контента сайта и эффективность страниц).


Оффлайн seo_noob

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 5
  • Сообщений: 31
  • Карма: 2
  • Пол: Мужской
    • AQSpace

Оффлайн seo_noob

  • Рекрут
  • *
Сначала делаем robots.txt с таким содержанием:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-content/cache
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-content/cache
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: вашсайт.ru

Sitemap: http://site.ru/sitemap.xml
Sitemap: http://site.ru/sitemap.xml.gz


Далее просто ждем переиндексации и обновления кеша пс. Если уж очень не терпится можно обратиться в службу поддержки пс с просьбой удалить из выдачи url которых не существует.
А в чём смысл данного robots.txt? Я вообще в курсе для чего robots.txt служит, но данный что запрещает?

Оффлайн bat

  • Бизнес оценка: (3, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 248
  • Сообщений: 916
  • Карма: 32
  • Пол: Мужской
  • было бы че...
    • Развлекательный портал 2Cool.ru

Оффлайн bat

  • Ветеран
  • *****
Я вообще в курсе для чего robots.txt служит
А в чём смысл данного robots.txt?
данный что запрещает?
Если вы были бы в курсе то не задавали бы таких вопросов.
Если визуально не можете понять что это за папки, то хотя бы ради интереса проследуйте по ссылкам из robots.txt и просмотрите самостоятельно то что там находится, сделав соответствующий вывод нужно это в выдаче ПС или нет.

Оффлайн Lesia

  • Бизнес оценка: (0)
  • КМС
  • *****
  • СПАСИБО: 2111
  • Сообщений: 4047
  • Карма: 232
  • Пол: Женский
  • Выгодный обмен электр. валют okku.ru
  • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
    • Мониторинг обменников OKKU

Оффлайн Lesia

  • КМС
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 2111
    • Сообщений: 4047
    • Карма: 232
    • Пол: Женский
    • Выгодный обмен электр. валют okku.ru
    • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
      • Мониторинг обменников OKKU
Jaguar, посмотрите тут правильный роботс для ВП

подправьте свой и через несколько АПов "лишние" страницы выпадут

если проиндексировалась только 1 категория из 4, попробуйте 3 НЕпроиндексированные прогнать по соцзакладкам - помогает ускорить индексацию


 

Похожие темы

  Тема / Автор Ответов Последний ответ
6 Ответов
2728 Просмотров
Последний ответ 01-10-2010, 19:51:39
от travel
0 Ответов
2063 Просмотров
Последний ответ 09-09-2011, 16:32:56
от prokira
6 Ответов
1669 Просмотров
Последний ответ 05-07-2012, 22:42:05
от anka17
17 Ответов
2892 Просмотров
Последний ответ 08-11-2012, 05:29:18
от anka17
3 Ответов
1273 Просмотров
Последний ответ 21-07-2013, 21:54:34
от ruslan_fd