Помогите запретить индексацию страниц через robots.txt

Автор Тема: Помогите запретить индексацию страниц через robots.txt  (Прочитано 3734 раз)

Онлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5001
  • Сообщений: 6833
  • Карма: 276
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • Просмотр профиля
    • SEO, интернет-маркетинг, сайостроение

Онлайн vold57

  • Мастер
  • *****
vold57, к вот таким вот видимо не дописывает Disallow: /books?*pg=*
Я исхожу из того что есть еще google (данная строка взята из его роботса ТЫЦ)
Просто стараюсь перестрaховыватся когда есть неоднозначность :)
Я проверил только что в Webmaster-Tools Google. Если в robots.txt прописать запрет без звездочки - Disallow: /books?*pg=, страницы типа http://site.com/books?hfgfgfpg=hfgfgsghsg также оказываются запрещенными.

По моему Гугл сам намудрил в своем роботсе  :)
Что касается неоднозначностей, то я поступаю точно так же как и вы  :)

Добавлено: 19-06-2013, 11:02:09

dmitriysector,  в robots.txt запрещают страницы целиком, а не их отдельные части.
« Последнее редактирование: 19-06-2013, 11:02:09 от vold57 »


Оффлайн Cyrus

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 271
  • Сообщений: 484
  • Карма: 47
  • Пол: Мужской
  • Награды SEO-специалист
    • Просмотр профиля

Оффлайн Cyrus

  • Старожил
  • ****
dmitriysector, как уже сказали, в robots.txt запрещают индексацию всей страницы, а части страницы, которые вы ходите закрыть, можно закрыть тегом <noindex></noindex> тогда.

parmactep

  • Гость
  • Бизнес оценка: (0)

parmactep

  • Гость
По моему Гугл сам намудрил в своем роботсе
Я еще ни разу не видел чтобы гугл следовал своим рекомендациям)))


Оффлайн Nomak1Автор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 2
  • Сообщений: 30
  • Карма: 1
  • Пол: Мужской
    • Просмотр профиля

Оффлайн Nomak1Автор темы

  • Рекрут
  • *
Хм, странно.
Прописал в robots.txt следующее:

User-agent: *
Disallow: /index.php/
Disallow: /index.php*/
Disallow: /index.php
Disallow: /index.php*

В вебмастере проверил страницу http://site.ru/index.php?option=com_djclassifieds&view=item&cid=2:nedvizhimost&id=80:prodam-dom-v-g-slutske&Itemid=165
Результат: Разрешено

Почему так?

Добавлено: 30-06-2013, 04:02:48

Когда спросил понял почему ::) нужно было написать:
Disallow: *index.php*
« Последнее редактирование: 30-06-2013, 04:03:24 от Nomak1 »
Если могу, всегда помогу!

Оффлайн Fan_Tema

  • Бизнес оценка: (1, 100%)
  • Постоялец
  • ***
  • СПАСИБО: 118
  • Сообщений: 242
  • Карма: 10
  • Пол: Мужской
  • Все,что не убивает сегодня -завтра сделает сильней
    • Просмотр профиля
    • ООО "МАГ" - строительство и проектирование в Приморском крае

Оффлайн Fan_Tema

  • Постоялец
  • ***
  • Доп. информация
    • Бизнес оценка: (1, 100%)
    • СПАСИБО: 118
    • Сообщений: 242
    • Карма: 10
    • Пол: Мужской
    • Все,что не убивает сегодня -завтра сделает сильней
      • Просмотр профиля
      • ООО "МАГ" - строительство и проектирование в Приморском крае
Господа, подскажите:
в интернет-магазине нужно оставлять для индексации только страницы вида
catalog/razdez-cataloga
и закрывать динамические страницы
catalog/razdez-cataloga?pt=377

Как прописать подобное?


Оффлайн Cyrus

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 271
  • Сообщений: 484
  • Карма: 47
  • Пол: Мужской
  • Награды SEO-специалист
    • Просмотр профиля

Оффлайн Cyrus

  • Старожил
  • ****
Disallow: /*pt= не работает? проверьте.


 

Похожие темы