Дублированный контент в постраничной навигации. (Много буков).

Автор Тема: Дублированный контент в постраничной навигации. (Много буков).  (Прочитано 6656 раз)

Оффлайн webАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 388
  • Сообщений: 925
  • Карма: 53
  • Пол: Мужской
  • No bees – no honey....... No work – no money
    • Просмотр профиля

Оффлайн webАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 388
    • Сообщений: 925
    • Карма: 53
    • Пол: Мужской
    • No bees – no honey....... No work – no money
      • Просмотр профиля
Имеется сайт, назовём его, одноимённо, «сайт» - http://site.eu

У этого сайта есть раздел News, доступен он по адресу http://site.eu/news.php

В разделе News имеется, допустим, 50 news, разделены они постраничной навигацией по 10 news на странице. Новости не отображаются целиком, видно только их название и описание – полностью увидеть текст новости можно на новой странице, например http://site.eu/news.php/view_news.php?id=1

Итого, мы имеем следующее:

1. http://site.eu/news.php   и    http://site.eu/news.php?page=1 – полностью идентичны, одним словом дубли.

2. http://site.eu/news.php и http://site.eu/news.php?page=2 – схожи только <title>, keywords=" "Новости"и <h1>.

У остальных страниц постраничной навигации одинаковы те параметры, что и во втором (2) пункте.

ЗЫ файл, генерирующий раздел News, один, дубли генерируются постраничной навигацией - часью кода, находящемся в нём же (уточнил на всякий случай).

Как я это решал, вернее пытаюсь…

С первым пунктом всё ясно В robots.txt я прописал:

Disallow: /*page=1 – Этим мы избавились от зеркала /news.php?page=1, т.к. он идентичен с /news.php

Остальные страницы с новостями запрещать от индекса нельзя, т.к. они со временем могут вылететь из индекса, из-за того, что к ним можно добраться только из раздела News, и только через постраничную навигацию, короче – если запретить постраничную навигацию – ПС их не увидят. Новости располагаются так, что старые записи уходят в глубь сайта, а новые находятся на первых страницах. (Думаю суть вы уловили).

Итак, удаляем дубли ( <title>, keywords=" "Новости"и <h1>)

Для title в коде я написал
<title><?php echo $myrow["title"].", страница ".$page;?></title>

Т.е. заголовок title каждой страницы будет не «Новости», а «Новости страница 1», «Новости страница 2» «Новости страница 3» и т.д.

Вопрос: Не будут ли ПС считать такие title дублями, если они отличаются только номером страницы?

Собственно, мне нужно, чтобы робот ходил по ссылкам, разделённым постраничной навигацией, но не считал дублями постраничную навигацию

<meta name="robots" content="noindex,follow" />



Нужно ли прописывать
<link rel="Canonical" href="http://site.eu/news.php" />

Или, rel="Canonical", в данном случае, не нужен? Если я правильно понял, ПС-ы будут индексировать только то, что написано в этом атрибуте. Мне же нужно, чтобы они ходили и на другие страницы постраничной навигации, их можно не индексировать, но они должны добираться по ссылкам в них до новостей.

Собственно, кто что думает по этому поводу?

Достаточно ли будет прописать в robots.txt
Disallow: /*page=1

А в код файла /news.php
<title><?php echo $myrow["title"].", страница ".$page;?></title>
<meta name="robots" content="noindex,follow" />


На всех страницах постраничной навигации раздела News одинаковый <h1> - «Новости», - может его вообще лучше убрать, он же не в статье, а в разделе, который можно и не индексировать, но чтобы ПС ходили по его ссылкам в постраничной навигации?


Добавлено: 21-10-2011, 23:51:23

Я поступил так:

Disallow: /*page=1

В код файла /news.php добавил следующее:

<title><?php echo $myrow["title"].", страница ".$page;?></title>
<meta name="robots" content="noindex,follow" />


Всю эту писанину я решил проверить сканером http://www.xml-sitemaps.com

Ссылки на страницы /news.php нет, и на постраничную навигацию тоже, но есть ссылки на новости, расположенные на вкладках постраничной навигации, т.е. раздел не индексируется, но поисковый робот находит ссылки в нём и переходит дальше, что я и пытался сделать.
Надеюсь Гоша с Яшей поступят также.  ;D
« Последнее редактирование: 21-10-2011, 23:51:23 от web »


Оффлайн slon987

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 1
  • Карма: 1
    • Просмотр профиля

Оффлайн slon987

  • Дебютант
  • *
я вот всё понимаю кроме одного, а что яша карту сайта уже не использует для навигации?

закрыто в robots.txt
 
Disallow: /*page  (постраничная навигация)

бот яндекса прекрасно попадает в любую публикация , на сайте их чуть более 70 ти тыс, и в самую последнюю и в самую первую

Оффлайн webАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 388
  • Сообщений: 925
  • Карма: 53
  • Пол: Мужской
  • No bees – no honey....... No work – no money
    • Просмотр профиля

Оффлайн webАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 388
    • Сообщений: 925
    • Карма: 53
    • Пол: Мужской
    • No bees – no honey....... No work – no money
      • Просмотр профиля
Яндекс учитывает карту сайта, но даже имея таковую нет гарантии, что все url попадут в индекс.

Вот цитата из справки Яндекса: «Файлы Sitemap учитываются при обходе сайта, однако мы не гарантируем, что все URL из вашего файла Sitemap будут добавлены в поисковый индекс Яндекса.».

В своём примере я не закрывал в robots все страницы с page, а только page=1, т.к. адрес /news.php и /news.php?page=1 – дубли, все другие page, такие как page=2, page=3 и т.д. в robots не запрещены. (в моём примере).

Sitemap.xml у сайта должен быть, хуже от этого не будет.

Оффлайн Darius

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 159
  • Сообщений: 525
  • Карма: 10
  • Пол: Мужской
  • В поисках новой идеи для сайта.
    • Просмотр профиля
    • Пицца на заказ, Камышин пиццерия"Сан-Ремо"

Оффлайн Darius

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 159
    • Сообщений: 525
    • Карма: 10
    • Пол: Мужской
    • В поисках новой идеи для сайта.
      • Просмотр профиля
      • Пицца на заказ, Камышин пиццерия"Сан-Ремо"
Ох я чувствую нужно на форуме уже целый раздел открывать по ДЛЕ оптимизации  ;D .
Ну а в целом очень и очень не плохо. Только недавно я задавался таким вот вопросом. Попробую также сделать.

Добавлено: 29-11-2011, 19:28:15

В код файла /news.php добавил следующее:
только вот осталось еще полный путь к файлу указать. А то непонятно где он. Хотя я не считаю себя мало знающим в этом движке.

Добавлено: 29-11-2011, 19:30:37

Может Вы имеете ввиду news.tpl в шаблоне?
« Последнее редактирование: 29-11-2011, 19:30:37 от sapfire65 »
Пицца на заказ в Камышине, бесплатная доставка. Пиццерия Сан-Ремо ул. Юбилейная 4.
Тел заказов: 8-909-39-039-39. И шикарная итальянка уже в Вашей компании!

Оффлайн webАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 388
  • Сообщений: 925
  • Карма: 53
  • Пол: Мужской
  • No bees – no honey....... No work – no money
    • Просмотр профиля

Оффлайн webАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 388
    • Сообщений: 925
    • Карма: 53
    • Пол: Мужской
    • No bees – no honey....... No work – no money
      • Просмотр профиля
sapfire65, это не DLE, движок самописный, о DLE речь шла в другой теме, в которой один из пользователей форума никак не разберётся в том, почему его файлы не отображаются на сервере. Вот ссылка на ту тему.

Добавлено: 29-11-2011, 19:58:13


только вот осталось еще полный путь к файлу указать. А то непонятно где он.

домен/news.php

Файл лежит в корневой папке сайта, на счёт него у меня вопросов нет, т.к. пока всё понятно.
« Последнее редактирование: 29-11-2011, 19:58:13 от web »


Оффлайн snegovik

  • Бизнес оценка: (1, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 715
  • Сообщений: 1115
  • Карма: 70
  • Пол: Мужской
  • Я не СЕОшник, я только учусь :))))
  • Награды КМС поисковой оптимизации
    • Просмотр профиля
    • Форум общения хороших людей

Оффлайн snegovik

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (1, 100%)
    • СПАСИБО: 715
    • Сообщений: 1115
    • Карма: 70
    • Пол: Мужской
    • Я не СЕОшник, я только учусь :))))
    • Награды КМС поисковой оптимизации
      • Просмотр профиля
      • Форум общения хороших людей


С первым пунктом всё ясно В robots.txt я прописал:

Disallow: /*page=1 – Этим мы избавились от зеркала /news.php?page=1, т.к. он идентичен с /news.php

Остальные страницы с новостями запрещать от индекса нельзя, т.к. они со временем могут вылететь из индекса, из-за того, что к ним можно добраться только из раздела News, и только через постраничную навигацию, короче – если запретить постраничную навигацию – ПС их не увидят. Новости располагаются так, что старые записи уходят в глубь сайта, а новые находятся на первых страницах. (Думаю суть вы уловили).


Закрыть в robots.txt
 
Disallow: /*page  (постраничная навигация)

Ведь это запрет роботу на индексацию, а не на переход робота куда либо. ПС всё прекрасно увидит и перейдёт куда ему надо,только не будет индексировать - чего как я понял и требуеться.

Оффлайн webАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 388
  • Сообщений: 925
  • Карма: 53
  • Пол: Мужской
  • No bees – no honey....... No work – no money
    • Просмотр профиля

Оффлайн webАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 388
    • Сообщений: 925
    • Карма: 53
    • Пол: Мужской
    • No bees – no honey....... No work – no money
      • Просмотр профиля
У меня, после того, как я в роботсе закрыл все page, начали выпадать из поисковой выдачи статьи, расположенные на 2, 3, и т.д. вкладках постраничной навигации, поэтому мною и было проделано выше написанное, после чего они начали возвращаться.

Я запретил индексацию всей постраничной навигации не в robots, а в метатеге на странице.
<meta name="robots" content="noindex,follow" /> что означает не индексировать, но ходить по ссылкам.

В robots.txt были убраны только дубли.


Добавлено: 29-11-2011, 22:48:36

Когда были закрыты все page, в sitemap.xml были прописаны, все страницы, которые, якобы, должны были индексироваться, но часть из них всё же перестала индексироваться после закрытия всех page в роботсе.

Это не означает, что и вам необхожимо сделать то же самое, это описание моего случая, и как я решал эту проблему.
« Последнее редактирование: 29-11-2011, 22:48:36 от web »

Оффлайн snegovik

  • Бизнес оценка: (1, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 715
  • Сообщений: 1115
  • Карма: 70
  • Пол: Мужской
  • Я не СЕОшник, я только учусь :))))
  • Награды КМС поисковой оптимизации
    • Просмотр профиля
    • Форум общения хороших людей

Оффлайн snegovik

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (1, 100%)
    • СПАСИБО: 715
    • Сообщений: 1115
    • Карма: 70
    • Пол: Мужской
    • Я не СЕОшник, я только учусь :))))
    • Награды КМС поисковой оптимизации
      • Просмотр профиля
      • Форум общения хороших людей
Да уж тут есть над чем подумать. А ведь и правда  page=1 являеться дублем главной страницы, а page=2,3,4.... по идее дублями не являються. С другой стороны page это динамические страницы и контент там постоянно меняеться, а значит индексируеться по титлам и описанию категории. И соответственно являеться  дублем категори т.е получаеться так site.ru/kat/page/4/ являеться дублем site.ru/kat/  и все остальные page этой ктегории дубли. И если их не закрывать то сколько же дублированных страниц получаеться. Т.е в любом случае их нужно закрывать. Вопрос в другом, если при закрытии в роботе статьи не будут индексироваться, как же тогда ещё с этим бороться?

Оффлайн webАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 388
  • Сообщений: 925
  • Карма: 53
  • Пол: Мужской
  • No bees – no honey....... No work – no money
    • Просмотр профиля

Оффлайн webАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 388
    • Сообщений: 925
    • Карма: 53
    • Пол: Мужской
    • No bees – no honey....... No work – no money
      • Просмотр профиля
Как вариант, закрывать от индексации в коде самой страницы, прописав в метатеге

<meta name="robots" content="noindex,follow" /> что означает не индексировать, но ходить по ссылкам. (как было сказано выше).

И титл можно сделать динамическим, чтобы в него добавлялось Страница 1, Страница 2,
<title><?php echo $myrow["title"].", страница ".$page;?></title>
или придумать другие варианты названий разных страниц постраничной навигации, чтобы они были динамическими.



Оффлайн snegovik

  • Бизнес оценка: (1, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 715
  • Сообщений: 1115
  • Карма: 70
  • Пол: Мужской
  • Я не СЕОшник, я только учусь :))))
  • Награды КМС поисковой оптимизации
    • Просмотр профиля
    • Форум общения хороших людей

Оффлайн snegovik

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (1, 100%)
    • СПАСИБО: 715
    • Сообщений: 1115
    • Карма: 70
    • Пол: Мужской
    • Я не СЕОшник, я только учусь :))))
    • Награды КМС поисковой оптимизации
      • Просмотр профиля
      • Форум общения хороших людей
Да но для этого нуно лопатить движок, а я не програмист  :)


 

Похожие темы

  Тема / Автор Ответов Последний ответ
2 Ответов
9233 Просмотров
Последний ответ 13-12-2012, 18:56:30
от Dimas
31 Ответов
7601 Просмотров
Последний ответ 19-09-2014, 21:01:40
от DukeZ
2 Ответов
1405 Просмотров
Последний ответ 02-04-2014, 23:43:01
от zzajacc
63 Ответов
12034 Просмотров
Последний ответ 17-01-2016, 13:34:25
от Sky-fi
11 Ответов
3530 Просмотров
Последний ответ 22-01-2016, 19:21:44
от Надежда vk