Помогите с robots.txt для joomla

Автор Тема: Помогите с robots.txt для joomla  (Прочитано 3526 раз)

Оффлайн zzajaccАвтор темы

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 108
  • Сообщений: 302
  • Карма: 33
  • Пол: Мужской
  • Оставь конкурентов позади!
    • Просмотр профиля
    • Новости автомира

Оффлайн zzajaccАвтор темы

  • Старожил
  • ****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 108
    • Сообщений: 302
    • Карма: 33
    • Пол: Мужской
    • Оставь конкурентов позади!
      • Просмотр профиля
      • Новости автомира
Помогите с robots.txt для joomla
« : 21-06-2013, 22:29:40 »
Спрашиваю, так как все советуют по разному...
Все страницы это дубли или не нужные (нашел через гугл вебмастер). Вот что надо закрыть:

1. /register.html
    /register.html?view=registration

2. /mainpage.feed?type=rss

3. /registration/register.html
    /registration/remind.html
    /registration/reset.html

4. /video.html?type=rss&start=11
    /video.html?type=rss&start=22
    /video.html?type=rss&start=33
    /video.html?type=rss&start=44
    /video.html?type=rss&start=55
    /video.html?type=rss&start=66
Тут сказали сделать так - Disallow: /*?type (Правильно или нет, не знаю)
« Последнее редактирование: 10-03-2016, 22:34:56 от badhit »


Оффлайн tamkor

  • Бизнес оценка: (4, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 914
  • Сообщений: 1421
  • Карма: 176
  • Пол: Женский
  • Награды Более 100 спасибо КМС поисковой оптимизации
    • Просмотр профиля
    • Кулинарные эксперименты

Оффлайн tamkor

  • Ветеран
  • *****
Re: Помогите с robots.txt для joomla
« Ответ #1 : 24-06-2013, 14:01:24 »

А Вы попробуйте вписать эту команду, а потом проверьте через панель вебмастера Яндекса или гугла - буду закрыты нужные страницы или нет.

В панели вебмастера гугла можно без изменения роботса на серевере добавлять и убирать команды и проверять все :)

Оффлайн rigden

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 2
  • Сообщений: 2
  • Карма: 0
    • Просмотр профиля

Оффлайн rigden

  • Дебютант
  • *
Re: Помогите с robots.txt для joomla
« Ответ #2 : 29-06-2013, 13:33:40 »
С дублями бороться с помощью robots.txt можно но моторошно. Главное что бы их не было, а не чтобы они не индексировались.
Установите модуль SEF , рекомендую SH404SEF. ARTIO - не настолько хорош, я бы сказал убогий.
Через просмотр проидексированных страциц google, yandex проверьте что проиднексировалось.
А затем что нашли закрывайте в robots.txt правилом Disallow:/ рапрещайте к индексации и выдаче.
Так же воспользуйтесь google вебмастером, где можно удалять URL.

Оффлайн olya-zgoda

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 5
  • Сообщений: 10
  • Карма: 1
  • Пол: Женский
    • Просмотр профиля

Оффлайн olya-zgoda

  • Рекрут
  • *
Re: Помогите с robots.txt для joomla
« Ответ #3 : 01-10-2013, 20:53:15 »
Я бы сделала так:

Disallow: /*?type*
Disallow: /registration/

Оффлайн linstyle

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 2
  • Сообщений: 23
  • Карма: 1
  • Пол: Мужской
  • LinStyle
    • Просмотр профиля
    • Дизайн-бюро «Линия стиля»

Оффлайн linstyle

  • Рекрут
  • *
Re: Помогите с robots.txt для joomla
« Ответ #4 : 06-10-2013, 16:26:38 »
У меня так, пока проблем нет

User-agent: *
Allow: /images/articles/
Allow: /images/portfolio/
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Disallow: /administrator/
Disallow: /awstats/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /cli/
Disallow: /components/
Disallow: /htdocs/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /watermark/
Disallow: /component/*
Disallow: /component/
Disallow: /component/search/
Disallow: /component/content/
Disallow: /component/mailto/
Disallow: /component/users/
Disallow: /component/user/
Disallow: /xmlrpc/
Disallow: /images/articles/slovar-dizaynera/
Disallow: /*/images-Disallow/*
Disallow: /index.php?option=com_mailto
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Disallow: /error.php


Оффлайн listik

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 130
  • Сообщений: 340
  • Карма: 13
  • Пол: Мужской
  • Брависсимо, СтилиSSимо!!!
    • Просмотр профиля
    • маникюр Бибирево

Оффлайн listik

  • Старожил
  • ****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 130
    • Сообщений: 340
    • Карма: 13
    • Пол: Мужской
    • Брависсимо, СтилиSSимо!!!
      • Просмотр профиля
      • маникюр Бибирево
Re: Помогите с robots.txt для joomla
« Ответ #5 : 27-10-2013, 00:15:17 »
У меня так, пока проблем нет....
linstyle, зря вы запретили к индексации папку с картинками вашего сайта - это минус в индексации сайта

Для индeксации картинок ПС-ами надо удалить --->    Disallow: /images/

Оффлайн linstyle

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 2
  • Сообщений: 23
  • Карма: 1
  • Пол: Мужской
  • LinStyle
    • Просмотр профиля
    • Дизайн-бюро «Линия стиля»

Оффлайн linstyle

  • Рекрут
  • *
Re: Помогите с robots.txt для joomla
« Ответ #6 : 19-11-2013, 22:29:07 »
Картинки на индексацию лежат во вложенных папках и разрешены для прохода роботом. В имадж (корень) лежат технические картинки, которые роботу не нужно иметь в виду.
Картинки статей индексируются поиском и проблем не вижу в процессе мониторинга сайта.

Оффлайн badhit

  • Модератор
  • Бизнес оценка: (0)
  • *****
  • СПАСИБО: 200
  • Сообщений: 413
  • Карма: 19
  • Пол: Мужской
    • Просмотр профиля
    • Проект "В поисках Истины"

Оффлайн badhit

  • Модератор
  • *****
Re: Помогите с robots.txt для joomla
« Ответ #7 : 10-03-2016, 22:34:25 »
Тема закрыта, т.к. дублирует другую тему. По вопросам robots.txt пройдите сюда - http://www.sbup.com/seo-forum/joomla/pravilnyi_robots_txt_dlya_joomla
Пробуди в себе исследователя - "В поисках Истины".
Хостинг alynx.net лучший хостинг по соотношению цена/качество  :-X


 

Похожие темы

  Тема / Автор Ответов Последний ответ
13 Ответов
4278 Просмотров
Последний ответ 22-04-2011, 15:49:27
от buzcrysl
1 Ответов
1146 Просмотров
Последний ответ 18-08-2011, 15:53:59
от tolev
17 Ответов
6031 Просмотров
Последний ответ 04-12-2016, 23:48:03
от badhit
0 Ответов
829 Просмотров
Последний ответ 12-11-2012, 16:05:15
от GEORGY
1 Ответов
1102 Просмотров
Последний ответ 14-12-2014, 19:53:09
от DOleg