Запрет индексации динамических параметров в robots.txt

Автор Azartno, 29-11-2012, 13:50:26

« назад - далее »

AzartnoTopic starter

Здравствуйте!

Помогите с решением следующей проблемы:

Есть динамические параметры, которые не влияют на выдачу информации на странице. Но, на сколько я понял, такие параметры при индексации могут породить дубли страниц в поисковиках.
Что бы этого не было используем директиву Clean-param. Да, это удобно если таких параметров 2-3.

Но как запретить полную индексацию таких динамических параметров?
Т.е. что бы страница site.ru/pages-1/?id=1&gt=7 не индексировалась или индексировалась как site.ru/pages-1/

Погуглил на предмет решения вопроса, нашел только вот такой вариант:
Disallow: *?

Если этот вариант не подходит, то как запретить индексацию динамических параметров?
Спасибо за помощь!
  •  


cyclop

Будет работать. А чтобы точнее было, можете сделать так: Disallow: *?id=

Кстати проверить работоспособность robots,txt можно в яндексе: http://webmaster.yandex.ru/robots.xml



AzartnoTopic starter

Если бы был только ?id, то его можно и через Clean-param отсечь.

Вопрос возник как раз в поиске универсального решения - один раз прописал и не переживать
Что бы при появлении новых динамических параметров каждый раз не бежать в robots.txt и не отсекать новый параметр
  •  

GEORGY

Цитата: Azartno от 29-11-2012, 14:10:55
Если бы был только ?id, то его можно и через Clean-param отсечь.

Вопрос возник как раз в поиске универсального решения - один раз прописал и не переживать
Что бы при появлении новых динамических параметров каждый раз не бежать в robots.txt и не отсекать новый параметр

как это правильно написать? походить только для яндекса?
  •  


Vadym.O

Цитата: maestrosite.ru от 29-11-2012, 14:10:21
rel="canonical"
не помогает :( на практике. ссылок в Яндексе типа zrada.org/?medlist=online-aceon&id=4425 более 4000 (последствия взлома). До сегодня не могу добиться удаления из индекса. Понаписывал уже всяких-там записей в robots.txt - жду. Вопрос - сколько ждать?  :(
  •  

maestrosite.ru

Цитата: Vadym.O от 13-05-2013, 22:36:29
не помогает :( на практике. ссылок в Яндексе типа zrada.org/?medlist=online-aceon&id=4425 более 4000 (последствия взлома). До сегодня не могу добиться удаления из индекса. Понаписывал уже всяких-там записей в robots.txt - жду. Вопрос - сколько ждать?  :(

на указанной вами странице нет тега canonical:
$ curl 'zrada.org/?medlist=online-aceon&id=4425' | grep '<meta'
<meta name='loginza-verification' content='e37d251b344f13a70ffee8d4e6a49408' />
  <meta http-equiv="content-type" content="text/html; charset=utf-8" />
  <meta name="robots" content="index, follow" />
  <meta name="keywords" content="" />
  <meta name="description" content="История, настоящее и будущее противостояния. Механизмы противостояния государства и общества. Истории предательств политиков, вранья историков и доверчивости граждан. Каждый желающий может после регистрации публиковать собственные статьи. Максимум терпимости друг к другу и минимум ненависти." />
  <meta name="generator" content="zrada.org" />

Vadym.O

Цитата: maestrosite.ru от 14-05-2013, 07:39:27
на указанной вами странице нет тега canonical:
$ curl 'zrada.org/?medlist=online-aceon&id=4425' | grep '<meta'
<meta name='loginza-verification' content='e37d251b344f13a70ffee8d4e6a49408' />
  <meta http-equiv="content-type" content="text/html; charset=utf-8" />
  <meta name="robots" content="index, follow" />
  <meta name="keywords" content="" />
  <meta name="description" content="История, настоящее и будущее противостояния. Механизмы противостояния государства и общества. Истории предательств политиков, вранья историков и доверчивости граждан. Каждый желающий может после регистрации публиковать собственные статьи. Максимум терпимости друг к другу и минимум ненависти." />
  <meta name="generator" content="zrada.org" />

Есть <base href="http://zrada.org/" />
Или это не то?
  •  


maestrosite.ru

Цитата: Vadym.O от 14-05-2013, 11:49:02
Есть <base href="http://zrada.org/" />
Или это не то?
конечно, есть одинаковые буквы, но это разные вещи. Сравните, с тем, что вы сами цитировали:
Цитата: maestrosite.ru от 29-11-2012, 14:10:21
rel="canonical"