Дубли страниц

[Sky-fi]

у вас чпу включено?

[Alexx45]

у вас чпу включено?

Да. Включено три "Да"

[Sky-fi]

Не вижу разницы между Disallow:  */component/content/*
                                    и   Disallow: /component/

Только что увидел. Действительно, с точки зрения логики - никакой. Но с точки зрения синтаксиса - так неправильно. А это значит, что роботу плевать на такую директиву, либо он ее поймет неправильно. Вот такая разница.

Пришлите адрес пациента. В вашем случае Redirect 301 должен работать

[Alexx45]

Только что увидел. Действительно, с точки зрения логики - никакой. Но с точки зрения синтаксиса - так неправильно. А это значит, что роботу плевать на такую директиву, либо он ее поймет неправильно. Вот такая разница.

Пришлите адрес пациента. В вашем случае Redirect 301 должен работать

Звездочки убрал.
Прописал 301 редирект вот так:
Redirect Permanent /component/content/frontpage.html http://сайт.ru/
Redirect Permanent /component/content/article/1-2013-11-30-19-05-38.html http://сайт.ru/
Вроде сайт никуда не делся.
А что делать с этой склейкой, которую прописывал?

RewriteCond %{HTTP_HOST} ^www.сайт.ru$
RewriteRule (.*) http://сайт.ru/$1 [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ http://сайт.ru/ [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://сайт.ru/ [R=301,L]

Только что ее удалил.

Ну еще и эти две страницы удалил из индекса в "Инструментах для Web-мастеров" Googloвском.
Но там написано, что это удаление только на 90 дней, потом опять появляется в индексе.
Спасибо всем.
Добавлено: 10-02-2014, 00:57:28
Проверил в Google. Этих двух страниц в индексе уже нет.

[ewdokimow]

Звездочки убрал.

Alexx45, Вы лучше / уберите, а оставьте звездочки. * будут работать в любом случае.

[Sky-fi]

Alexx45, Вы лучше / уберите, а оставьте звездочки. * будут работать в любом случае.

Директива обязательно должна начинаться со слеша "/".
В конце же, звездочку можно не ставить, так как по умолчанию, робот читает правило так, как будто она там есть.
Так что ставить ее есть смысл только перед словом, например:
Disallow: /*start/
В данном примере робот не станет читать и каталог /limitstart/, если вдруг наткнется на такой.

Если брать во внимание рекомендации Google и Яндекс по составлению robots.txt, то следующие примеры будут не совсем корректны, хоть и часто встречаются:
Disallow: */component/*
Disallow: /*/component/*
Disallow: *component
и т. д.

[ewdokimow]

Sky-fi, я могу ошибаться, но это правило 3-го слеша (Disallow: *component* - заменит все три) . А вот проверять робот нужно в Вебмастере.

[Sky-fi]

ewdokimow, могу и я ошибаться, конечно же, но в гугловских рекомендациях есть такие строки:

Про правило 3-го слеша не слышал никогда

Просто бывает, когда чел навводит что-то типа:
Disallow: /*/folder/
Disallow: /folder/
Disallow: /*folder
Ну и еще парочка вариантов есть... Большая вероятность того, что все директивы проигнорируются. А потом человек будет долго рассказывать, что роботс не закрывает ничего (хотя иногда и такое бывает)

[ewdokimow]

Sky-fi,  в любом случае правильность работы робота нужно проверять в Вебмастере. Там смотреть нужно закрывает робот или нет. Самое главное нужно понимать, что открывать БОТам, а что нет. Джумла сама по себе плодит дубли, хотя вроде в 3 эту проблему решили.

[Sky-fi]

ewdokimow, абсолютно согласен. Проверять надо по-любому.
Я 3-й пока не пользовался, она считается для тестирования пока, не помню, какая там абревиатура. Но вроде действительно должно быть меньше дублей, коих в 2.5 хватает.