Как закрыть страницу от индексации, так чтобы боты проходили по ссылкам?

[falcon]

Добрый день.
Надо скрыть текст страницы категории сайта со списком анонсов от индексации. Как правильно это сделать, чтобы боты поисковиков могли проходить по ссылкам в этой категории и индексировать анонсируемые страницы?
Спасибо за помощь.

[vold57]

Яндекс помощь

[falcon]

Я так понял наиболее оптимальный вариант - <meta name="robots" content="noindex,follow" />
Кто знает как это реализовать в robots.txt?

[Cyrus]

falcon, <meta name="robots" content="noindex,follow" /> - это тоже самое, что запретить в robots.txt полностью индексацию страницы, следовательно, не по каким ссылкам на этих страницах роботы ходить не будут, они вообще на эти страницы не пойдут, запрещено им. Если надо только часть на странице закрыть, тогда только <noindex> уж. Ну или, например, анонс - это не часть анонсируемого текста, а отдельные пару предложений о нем.

[falcon]

Cyrus, Вот вырезка из Википедии:
Пример 2. Запретить индексирование страницы, разрешить использование размещённых на ней ссылок для последующей индексации.
<meta name="robots" content="noindex,follow" />

А вот, наверное, про то что вы сказали:
Пример 4. Запретить индексирование страницы и использование размещённых на ней ссылок для последующей индексации.
<meta name="robots" content="noindex,nofollow" />

[vold57]

falcon,

Если мета-теги не указаны, робот считает, что они имеют положительное значение (index, follow, archive).

так что, вполне, будет достаточно <meta name="robots" content="noindex" />

Закрытие для индексации категорий в robots.txt, зависит от того, есть ли отличительные черты в УРЛах категорий. 

[falcon]

Закрытие для индексации категорий в robots.txt, зависит от того, есть ли отличительные черты в УРЛах категорий. 

Поясните пожалуйста, я не понял что вы имеете ввиду

[Cyrus]

vold57, так если закроем страницу от индексации <meta name="robots" content="noindex" />, толку, будут ссылки закрыты в <nofollow> или нет то тогда? Ведь робот не попадет на эту страницу и не проиндексирует их или я не прав?

[vold57]

Я во втором посте привел ссылку на хелп Яндекса. Там расписаны все варианты.

[falcon]

vold57, Запись <meta name="robots" content="noindex"/> идентична записи в robotx.txt - Disallow: site.ru/kategoriya?