Помогите с robots.txt для joomla

[zzajacc]

Спрашиваю, так как все советуют по разному...
Все страницы это дубли или не нужные (нашел через гугл вебмастер). Вот что надо закрыть:

1. /register.html
    /register.html?view=registration

2. /mainpage.feed?type=rss

3. /registration/register.html
    /registration/remind.html
    /registration/reset.html

4. /video.html?type=rss&start=11
    /video.html?type=rss&start=22
    /video.html?type=rss&start=33
    /video.html?type=rss&start=44
    /video.html?type=rss&start=55
    /video.html?type=rss&start=66
Тут сказали сделать так - Disallow: /*?type (Правильно или нет, не знаю)

[tamkor]

А Вы попробуйте вписать эту команду, а потом проверьте через панель вебмастера Яндекса или гугла - буду закрыты нужные страницы или нет.

В панели вебмастера гугла можно без изменения роботса на серевере добавлять и убирать команды и проверять все

[rigden]

С дублями бороться с помощью robots.txt можно но моторошно. Главное что бы их не было, а не чтобы они не индексировались.
Установите модуль SEF , рекомендую SH404SEF. ARTIO - не настолько хорош, я бы сказал убогий.
Через просмотр проидексированных страциц google, yandex проверьте что проиднексировалось.
А затем что нашли закрывайте в robots.txt правилом Disallow:/ рапрещайте к индексации и выдаче.
Так же воспользуйтесь google вебмастером, где можно удалять URL.

[olya-zgoda]

Я бы сделала так:

Disallow: /*?type*
Disallow: /registration/

[linstyle]

У меня так, пока проблем нет

User-agent: *
Allow: /images/articles/
Allow: /images/portfolio/
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Disallow: /administrator/
Disallow: /awstats/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /cli/
Disallow: /components/
Disallow: /htdocs/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /watermark/
Disallow: /component/*
Disallow: /component/
Disallow: /component/search/
Disallow: /component/content/
Disallow: /component/mailto/
Disallow: /component/users/
Disallow: /component/user/
Disallow: /xmlrpc/
Disallow: /images/articles/slovar-dizaynera/
Disallow: /*/images-Disallow/*
Disallow: /index.php?option=com_mailto
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Disallow: /error.php

[listik]

У меня так, пока проблем нет....

linstyle, зря вы запретили к индексации папку с картинками вашего сайта - это минус в индексации сайта

Для индeксации картинок ПС-ами надо удалить --->    Disallow: /images/

[linstyle]

Вот рекомендации по закрытию страниц:

1. /register.html
   /register.html?view=registration
   Рекомендуется закрыть обе страницы с помощью указания "Disallow: /register.html" и "Disallow: /register.html?view=registration" в файле robots.txt.

2. /mainpage.feed?type=rss
   Если это страница с лентой новостей, то нет необходимости закрывать ее. Однако, если вы не хотите, чтобы она была индексирована поисковыми системами, вы можете добавить "Disallow: /mainpage.feed" в файл robots.txt.

3. /registration/register.html
   /registration/remind.html
   /registration/reset.html
   Рекомендуется закрыть все три страницы, указав "Disallow: /registration/" в файле robots.txt. Это запретит индексацию всех страниц, находящихся в папке "registration".

4. /video.html?type=rss&start=11
   /video.html?type=rss&start=22
   /video.html?type=rss&start=33
   /video.html?type=rss&start=44
   /video.html?type=rss&start=55
   /video.html?type=rss&start=66
   Если вы хотите запретить индексацию всех страниц с параметром "?type=rss", то вы можете добавить "Disallow: /*?type" в файл robots.txt. Таким образом, все страницы с этим параметром будут закрыты для поисковых систем.

Картинки на индексацию лежат во вложенных папках и разрешены для прохода роботом. В имадж (корень) лежат технические картинки, которые роботу не нужно иметь в виду.
Картинки статей индексируются поиском и проблем не вижу в процессе мониторинга сайта.

[badhit]

Тема закрыта, т.к. дублирует другую тему. По вопросам robots.txt пройдите сюда - http://www.sbup.com/seo-forum/joomla/pravilnyi_robots_txt_dlya_joomla