Как закрыть страницу от индексации, так чтобы боты проходили по ссылкам?

[vold57]

falcon, вот допустим у вас урлы статей имеют такой вид - http://nazvanie_kategorii_qwerty/nazvanie_statji.html,
причем во всех категориях, где присутствуют анонсы есть одинаковая часть - qwerty. Тогда эта одинаковая часть и есть тот отличительный признак, который можно использовать при закрытии для индексации в robots.txt.

Если у вас анонсы во всех категориях и вы все хотите закрыть для индексации все категории, то возможно такие страницы имеют какой-то другой отличительный признак, например, имеют УРЛы без html в конце, в то время как обычные страницы у вас, возможно, заканчиваются именно с html. Это нужно вам уже смотреть на ваши УРЛы и решать за что можно зацепиться.
Добавлено: 15-08-2013, 12:45:55

vold57, Запись <meta name="robots" content="noindex"/> идентична записи в robotx.txt - Disallow: site.ru/kategoriya?

Нет не идентична. На уровне метатега ваша задача решается. На уровне robots.txt, есть у меня некоторые сомнения.

[falcon]

vold57, ну как зацепить за нужную страничку я уже разобрался....вопрос как сделать в robots.txt (мне удобней, чем в мета-теге) ограничение индексации на страницу и так чтобы бот могут туда заходить и идти дальше по ссылкам...

[vold57]

falcon, если допустить, что Яндекс в своих хелпах говорит правду (а такое тоже, как ни странно, может иметь место)

Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'.

и Яндекс действительно следует этим запретам, то по ссылкам с таких страниц Яндекс переходить не будет, поскольку их не увидит.

Обратите внимание, что тут речь идет не о запрете индексации, а о запрете доступа робота.

[falcon]

Так как же роботу сказать в robots.txt, что ты вот заходи, иди по ссылкам дальше, но страницу не индексируй

[vold57]

Боюсь, что никак.