Как влияют наличие большого числа ссылок на запрещенные к индексации страницы (дублирующий контент)?
Вот, например, в phpBB есть такие ссылки типа p=* ведущие сразу определенному сообщению. Естественно они запрещены к индексации в robots.
Дак вот вопрос, как лучше сделать: может вообще скрывать их от роботов и гостей? :o
Просьба аргументировать свою точку зрения ;)
В phpBB многое можно закрыть от индексации используя <!-- IF not S_IS_BOT -->
Почитать можно тут http://www.teosofia.ru/board/viewtopic.php?f=55&t=3488
так же желательно закрыть профиль при просмотре темы, вывод на главной таких слов как модератор, перейти, в общем всё то что понижает плотность ключевых слов.
Кому надо, могу выложить инструкцию к тому как это всё закрыть.
Цитата: vladimir1983 от 12-09-2010, 11:10:02
<!-- IF not S_IS_BOT -->
Думал об этом с самого начала, но придется запрещать не только для ботов, но и для гостей т.к это уже по сути клоакинг получается >:(
Совсем закрывать от роботов при формировании страницы я бы не стал. Боты иногда заходят под разными именами. Могут подумать что обманывают.
Я не знаю как в пхпбб реализовано, но в смф частично есть такое запрещение.
Во-первых вот это:
<link rel="canonical" href="http://www.sbup.com/seo-forum/poiskovye_tehnologii/ssylki_na_zapreshennye_k_indeksacii_stranicy/" />
Сразу понятно какая стр. должна индексироваться, а что есть дубль.
Во-вторых, ссылки на сообщения топика, как правило (не всегда) закрыты в ноуфолоу. Например ссылка на сообщение выше:
<a href="http://www.sbup.com/seo-forum/poiskovye_tehnologii/ssylki_na_zapreshennye_k_indeksacii_stranicy/msg6254/#msg6254" rel="nofollow">Re: Ссылки на запрещенные к индексации страницы</a>
Эти две фишки помогают в смф исключить случайные дубли из индекса
Цитата: Sevab от 12-09-2010, 11:22:11
<link rel="canonical" ...
Сразу понятно какая стр. должна индексироваться, а что есть дубль.
Ну
canonical я уже сделал, но это решило проблему только с гуглом, нужно подобное решение для яшки... :(
А насчет
nofollow - боты же всеравно переходят по ним? ;)
По идее не должны, но даже если перейдут, то индексировать не должны, а если даже индексируют, то каноникал все равно скажет кто есть главный.
Яша, кстати, сейчас тоже нофолоу понимает.
Вообще согласен, с яндексом в этом плане большие проблемы. Даже то что закрыто в роботсе он, иногда, все равно индексирует.
С google таких проблем нет.
Тем не менее, дублей форума в индексе яндеска я не видел. Значит приведенная выше схема работает.
Цитата: Sevab от 12-09-2010, 11:22:11
Совсем закрывать от роботов при формировании страницы я бы не стал. Боты иногда заходят под разными именами. Могут подумать что обманывают.
Ведь точно же!!! Себе на форуме кое-что поскрывал от ботов. А ведь действительно, могут подумать что обманывают. Вот оно недостаток опыта!
Цитата: Chiliec от 12-09-2010, 11:26:11
Ну canonical я уже сделал, но это решило проблему только с гуглом, нужно подобное решение для яшки... :(
Вам бы книгу про phpbb написать ), ну или статью для инета.
А можно поподробней насчет canonical?
Цитата: armid от 12-09-2010, 12:32:39
Вам бы книгу про phpbb написать ), ну или статью для инета.
Рановато мне еще книги писать, а вот статьи я стараюсь писать в бложек (который в подписи) если найду что-нибудь, на мой взгляд, достойное.
Цитата: armid от 12-09-2010, 12:32:39
А можно поподробней насчет canonical?
Про canonical (http://devaka.ru/articles/link-rel-canonical) тут по-моему наиболее популярно написано 8) А решение для phpBB уже и не помню откуда стащил, сейчас поищу ;)
Поищите пожалуйста )
Цитата: armid от 12-09-2010, 12:50:51
Поищите пожалуйста )
Вспомнил, такой мод есть (http://chiliec.ru/wp-content/uploads/canonical_url.zip)
Еще вот здесь:
http://www.google.com/support/webmasters/bin/answer.py?answer=139394 (http://www.google.com/support/webmasters/bin/answer.py?answer=139394)
Если коротко, то работает для гугла и исключает такие дубли как например любая ссылка на этой странице на сообщения темы.
Ведь они выводят одни и те же страницы. Этот атрибут сообщает что нужно индексировать.
Цитата: Sevab от 12-09-2010, 12:54:55
Если коротко, то работает для гугла и исключает такие дубли как например любая ссылка на этой странице на сообщения темы.
Ведь они выводят одни и те же страницы. Этот атрибут сообщает что нужно индексировать.
Спасибо. Принцип понятен. Осталось разобраться как это реализовано в рамках движка.
Цитата: armid от 12-09-2010, 13:02:50
Спасибо. Принцип понятен. Осталось разобраться как это реализовано в рамках движка.
Я же выложил мод (http://www.sbup.com/seo-forum/poiskovye_tehnologii/ssylki_na_zapreshennye_k_indeksacii_stranicy/#msg6271) :o
Chiliec, все хорошо :) Спасибо огромное.
Я так о своем о мужском.
Что-то отошли от основной темы: оставлять ли ссылки на запрещенные к индексации страницы (canonical+nofollow) или все-же лучше их совсем скрыть от ботов и гостей? Или это без разницы и зря я на этом заморочился? :D
Мне кажется можно оставлять. На этом форуме стоят и ни яша ни гоша лишнего не индексируют.
Существует мнение, что поисковики индексируют даже запрещенные к индексации ссылки и страницы. Как бы для себя, полученную информацию со страниц запрещенных к индексации в общий индекс поиска они не вываливают, но при фильтрации сайтов, такая информация все же ими используется.