Запрет индексации большого количества страниц со специфическими путями

Автор Тема: Запрет индексации большого количества страниц со специфическими путями  (Прочитано 1559 раз)

Оффлайн redddАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 2
  • Карма: 0
    • Просмотр профиля

Оффлайн redddАвтор темы

  • Дебютант
  • *
Добрый день. Знатоки, подскажите пожалуйста, как запретить к индексации страницы вот с такими урлами:

site.com/top_rated
site.com/top_rated?page=2
site.com/top_rated?page=3 и.т.д.

Какую строчку надо прописать в robots.txt

Большая просьба помочь.


Оффлайн kstnews

  • Бизнес оценка: (1, 100%)
  • КМС
  • *****
  • СПАСИБО: 1454
  • Сообщений: 2015
  • Карма: 87
  • Пол: Мужской
  • Верить никому нельзя... Мне можно
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации
    • Просмотр профиля
    • teleprograms.ru

Оффлайн kstnews

  • КМС
  • *****
  • Доп. информация
    • Бизнес оценка: (1, 100%)
    • СПАСИБО: 1454
    • Сообщений: 2015
    • Карма: 87
    • Пол: Мужской
    • Верить никому нельзя... Мне можно
    • Награды Более одной тысячи спасибо КМС поисковой оптимизации
      • Просмотр профиля
      • teleprograms.ru
User-agent: Yandex
Disallow: /top_rated*
# блокирует доступ к страницам
                               # начинающимся с '/top_rated'
Disallow: /top_rated   # то же самое

Оффлайн redddАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 2
  • Карма: 0
    • Просмотр профиля

Оффлайн redddАвтор темы

  • Дебютант
  • *
А для всех роботов, а не только для яндекса, это так сделать:

User-agent: *
Disallow: /top_rated*

Просьба подсказать

Оффлайн kstnews

  • Бизнес оценка: (1, 100%)
  • КМС
  • *****
  • СПАСИБО: 1454
  • Сообщений: 2015
  • Карма: 87
  • Пол: Мужской
  • Верить никому нельзя... Мне можно
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации
    • Просмотр профиля
    • teleprograms.ru

Оффлайн kstnews

  • КМС
  • *****
  • Доп. информация
    • Бизнес оценка: (1, 100%)
    • СПАСИБО: 1454
    • Сообщений: 2015
    • Карма: 87
    • Пол: Мужской
    • Верить никому нельзя... Мне можно
    • Награды Более одной тысячи спасибо КМС поисковой оптимизации
      • Просмотр профиля
      • teleprograms.ru
Да, только не забыть прописать host и sitemap.


 

Похожие темы