Robot.txt запрет индексации

[vovakozar]

Привет всем у меня такая ситуация с повторением страницы есть страница категории, категорий много чтобы не каждую в ручную писать в робот запретить
/category/strategy.html
и
/category/strategy/page-1.html
страницы идентичны как мне запретить индексацию робот в файле одной из них например
Disallow: /category/*/page-1.html --- Так можно сделать? но чтобы остальные страниц 2,3,4 индексировалось

или лучше как-то это решить редиректом? но все равно надо запретить индексировать

[Zahar]

Вы можете использовать элемент "noindex" для указания поисковым роботам, чтобы они не индексировали определенную страницу. Это позволит сохранить остальные страницы для индексации.

Если вы хотите запретить индексацию страницы "/category/strategy/page-1.html" и разрешить индексацию остальных страниц подобного формата, вы можете добавить следующий мета-тег в заголовок HTML страницы "/category/strategy/page-1.html":

<meta name="robots" content="noindex">
Таким образом, вы сообщите поисковым роботам, что конкретная страница не должна индексироваться. При этом другие страницы, такие как "/category/strategy/page-2.html", "/category/strategy/page-3.html" и так далее, останутся доступными для индексации.

Если у вас возникают сложности с редактированием HTML-кода каждой страницы, тогда более масштабное решение может быть использование robots.txt. Однако, согласно стандарту robots.txt, вы не сможете использовать шаблоны (*, ?, и т. д.) в указании запрета на индексацию конкретной страницы. Вместо этого, вы можете запретить индексацию во всех страницах категории, включая "page-1.html", используя следующее правило в файле robots.txt:

User-agent: *
Disallow: /category/strategy/
Это запретит индексацию всех страниц, включая "page-1.html". Однако, имейте в виду, что роботы могут все еще обращаться к этим страницам, хотя они не будут индексированы. Если вы хотите полностью исключить роботов из доступа к этой странице, лучшим решением будет использование комбинации robots.txt и мета-тега "noindex" на самой странице.


юзайте анализатор
http://webmaster.yandex.ru/robots.xml
правила
http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

[vovakozar]

спасибо когда проверял на http://webmaster.yandex.ru/robots.xml
Disallow: /category/*/page-1.html --- то якобы не выбило ошибку