Дубли страниц

Автор Alexx45, 09-02-2014, 16:17:11

« назад - далее »

Alexx45Topic starter

Здравствуйте.
Не получается избавиться от двух дублей главной. Сайт на Joomla.
В файле robots.txt закрыл вот так: Disallow:  */component/content/*
В файле .htaccess прописал 301 редирект:

RewriteCond %{HTTP_HOST} ^www.сайт.ru$
RewriteRule (.*) http://сайт.ru/$1 [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ http://сайт.ru/ [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://сайт.ru/ [R=301,L]

Все равно Google выдает в результатах два дубля. Только в сниппете пишет "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. "
Выручайте.
  •  


Sky-fi

Цитата: Alexx45 от 09-02-2014, 16:17:11*/component/content/*
Прочтите рекомендации Гугла и Яндекса по этому поводу. Никто так не закрывает.
Насчет сниппетов переживатьь не стоит.


Alexx45Topic starter

Ну если так никто не закрывает, то как же тогда закрывают от индексации в файле robots.txt?
Прогуглил но новшеств не нашел.
  •  

Sky-fi

А новшества искать и не требуется
https://support.google.com/webmasters/answer/156449?hl=ru
http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

Alexx45Topic starter

Яндекс не берем. А на странице https://support.google.com/webmasters/answer/156449?hl=ru
вообще ничего конкретного.
  •  


ewdokimow

А просто дубль главной склеить 301 редиректом с главной?
Например, так Redirect 301 /дубль.html http://сайт.ru   
Андрей
  •  

Sky-fi

Цитата: Alexx45 от 09-02-2014, 21:01:11А на странице https://support.google.com/webmasters/answer/156449?hl=ru
вообще ничего конкретного.
Извините, но там написано более, чем конкретно.
Или вы желаете, чтобы там был сразу готовый robots.txt для вашего сайта, который вы стесняетесь показать почему-то...

Если вернуться к первому посту, правильно будет написать:

User-agent: *
Disallow: /content/

или

User-agent: *
Disallow: /component/

Не знаю, что вам конкретно закрыть надо, но полагаю, что в джумле второй вариант прописан по умолчанию в роботсе.

Alexx45Topic starter

#7
Цитата: ewdokimow от 09-02-2014, 21:14:23
А просто дубль главной склеить 301 редиректом с главной?
Например, так Redirect 301 /дубль.html http://сайт.ru   

На своем первом сайте (Joomla) так делал и все было нормально. На этом сделал - сайт вылетел вообще.

Добавлено: 09-02-2014, 22:40:47


Цитата: Sky-fi от 09-02-2014, 21:19:04
Извините, но там написано более, чем конкретно.
Или вы желаете, чтобы там был сразу готовый robots.txt для вашего сайта, который вы стесняетесь показать почему-то...

Если вернуться к первому посту, правильно будет написать:

User-agent: *
Disallow: /content/

или

User-agent: *
Disallow: /component/

Не знаю, что вам конкретно закрыть надо, но полагаю, что в джумле второй вариант прописан по умолчанию в роботсе.

Вот две страницы дубли главной:
сайт.ru/component/content/article/1-2013-11-30-19-05-38.html
сайт.ru/component/content/frontpage.html
Не вижу разницы между Disallow:  */component/content/*
                                    и   Disallow: /component/
Я уже вроде прописывал без звездочек. Попробую еще раз.
  •  


Sky-fi

Цитата: Alexx45 от 09-02-2014, 22:26:30сайт вылетел вообще

вылетел с какой ошибкой? Не 50х-й ли?


Alexx45Topic starter

Цитата: Sky-fi от 09-02-2014, 22:41:44
вылетел с какой ошибкой? Не 50х-й ли?
Не помню уже, время прошло. Да точно каких то пятисотых.
  •