Запрет на индексацию utm и др. в robots.txt

Автор Estr, 13-12-2017, 06:43:18

« назад - далее »

EstrTopic starter

Здравствуйте всем

Помогите с запретом на индексацию страниц с параметрами ниже в файле robots.txt
пример
основной домен/land.php?changecity=spb&yagla=21444291
основной домен/land.php?changecity=dist&yagla=21644183
/index.php?0&cntnt01&cntnt01articleid=21&cntnt01returnid=15&detail&mact=News

  •  


hopea114y



EstrTopic starter

Попробуем через /land.php?changecity*

Остаётся вопрос с яглой.
  •  

vold57

Цитата: Estr от 15-12-2017, 06:00:55Остаётся вопрос с яглой.
Вы привели три адреса. Вам подсказали, как запретить индексацию двух адресов. Так что остается вопрос не с yagla, а с третьим адресом. 


hopea114y

Цитата: vold57 от 15-12-2017, 09:18:45Так что остается вопрос не с yagla, а с третьим адресом.
Согласен, какой третий урл?
Проверяйте в Яндекс Вебмастере - Инструменты/Анализ robots.txt на корректность запрета. Что касается &yagla, то приведенный мною вариант должен запрещать все урлы начинающиеся с land.php?changecity и дальше не имеет значения что там еще будет после этого урла.
Но вы проверьте, я точно не уверен.
А вообще вот мануал от Яндекса по роботс - https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html - Обязателен к изучению


alexakap

Можно по такому же принципу запретить все страницы содержащие "cntnt"
Disallow: *cntnt*

Можно запретить все страницы содержащие index.php с любой последовательностю символов, но разрешить страницу index.php

Disallow: index.php*
Allow: index.php$

Проверяем потом доступность страницы /index.php

Но так роботс не составляется. Надо выгружать все страницы сайта и по ним составлять его
  •  

EstrTopic starter

Цитата: hopea114y от 15-12-2017, 09:57:42
Согласен, какой третий урл?
Проверяйте в Яндекс Вебмастере - Инструменты/Анализ robots.txt на корректность запрета. Что касается &yagla, то приведенный мною вариант должен запрещать все урлы начинающиеся с land.php?changecity и дальше не имеет значения что там еще будет после этого урла.
Но вы проверьте, я точно не уверен.
А вообще вот мануал от Яндекса по роботс - https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html - Обязателен к изучению

Третий из указанных. Ещё есть ссылки с яглой. Но принцип в целом понятен. Попробуем закрыть и проверить работоспособность. Спасибо)
  •