Как определить, что запрещать к индексации в robots.txt?

Автор Тема: Как определить, что запрещать к индексации в robots.txt?  (Прочитано 486 раз)

Оффлайн IrinaPlАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 3
  • Карма: 0
    • Просмотр профиля

Оффлайн IrinaPlАвтор темы

  • Дебютант
  • *
Всем привет.
Как определить, что запрещать к индексации в robots.txt, если сайт не мой? Есть какой-то стандартный набор директорий или есть способы узнать, что именно для этого сайта нужно запретить?
P.S. тестовое задание.


Оффлайн Вадим Костин

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 178
  • Сообщений: 668
  • Карма: 42
  • Пол: Мужской
  • Награды SEO-специалист продвинутого уровня
    • Просмотр профиля
    • Горные лыжи и сноуборд

Оффлайн Вадим Костин

  • Ветеран
  • *****
Можно закрывать:


- административную часть сайта
- результаты поиска по сайту
- страницы пагинаций
- страницы сортировки
- страницы с ненужными параметрами
- ненужные в индексе страницы


Некоторые страницы дубли можно в индексе ПС найти.


Попробуйте погуглить таким запросом: robots.txt для битрикс, wordpress и т.д


 

Похожие темы

  Тема / Автор Ответов Последний ответ
14 Ответов
5475 Просмотров
Последний ответ 07-04-2011, 11:18:33
от Avadon
12 Ответов
3539 Просмотров
Последний ответ 08-12-2011, 17:58:24
от gnh73
2 Ответов
1294 Просмотров
Последний ответ 26-09-2011, 21:16:22
от liston
0 Ответов
1624 Просмотров
Последний ответ 24-01-2012, 19:01:10
от Владимир75
10 Ответов
2799 Просмотров
Последний ответ 15-03-2016, 11:41:25
от natmir