Как скрыть ненужные ссылки в robots.txt?

Автор Куцый, 24-02-2012, 15:17:04

« назад - далее »

КуцыйTopic starter

Привет!

Ситуация следующая, при составлении robots.txt столкнулся со следующей проблемой:
Интернет-магазин. Нужно скрыть левые ссылки (сортировку, численность по 20, 50, 100 товаров)

Ссылка ведущая на каталог с товарами
/index.php?cat=4 - она нам нужна, она хорошая.[/color]
А вот ссылка, которую я хочу скрыть в robots.txt (точнее одна из)
/index.php?cat=4&sort=price&direction=desc

Ведь знал же что не получится, но всё равно попробовал такой метод:
Disallow: /index.php?cat=4&
Он скрывает и каталог и всё что после него идет

Кто чем поможет? Закрывать весь каталог мне не нужно, но вот эти части хотелось бы спрятать.
Возможно ли как-то скрывать часть кода, которую я вырываю из ссылки?
Т.е. всё что после & должно быть скрыто

Добавлено: 24-02-2012, 16:17:46


Ответ нашелся! Спасибо пользователю Web

Попробуйте выделить у всех урлов, которые вы хотите скрыть, общую часть, и запишите в роботсе следующее правило:

Disallow: /*sort=price

Т.е., индексироваться не будут все урлы, где есть «sort=price».
Можно записать и другой отрывок урла, адреса с которым не будут индексироваться.

Правил, наподибие
Disallow: /*sort=price

может быть несколько, если адреса, которые нужно скрыть, не имеют общие части (sort=price, view=что-то и так далее).
  •  


Woolmer

Можно ли как-то так сделать, чтобы Яндекс это учёл и не было потерь по позициям?????????
Try out our free newbielink:http://www.test-king.com/ [nonactive] and latest comptia training courses  to get high flying success in final exam
  •  


DOleg

Цитата: Woolmer от 30-03-2015, 08:39:14чтобы Яндекс это учёл и не было потерь по позициям?
А почему должны быть потери по позициям? Выдача по вашему сайте станет чище, исчезнут дубли, так что должно быть наоборот, только улучшиться.

И для сортировок ставьте каноникал на страницу категории.

Joker666

Я тоже никак с этим роботом не могу разобраться, что и как писать правильно, а главное как потом можно это все проверить что будет индексироваться, а что нет.
  •  

DOleg

Цитата: Joker666 от 09-10-2015, 00:01:49Я тоже никак с этим роботом не могу разобраться, что и как писать правильно

Прописать то, чего не должно быть в индексе, прописать карту сайта и главное зеркало, вот и всё.

Цитата: Joker666 от 09-10-2015, 00:01:49а главное как потом можно это все проверить что будет индексироваться, а что нет

Проверить то, что попало в индекс, как же ещё... :)


Foxman

Я смотрю через индекс цитирования, есть програмки специальные.
  •  

Joker666

Я через рдс смотрю, но мне нужно проверить картинки с ресурса bspb.ru, страница по вкладам, чего-то не выходит.
  •