robots.txt

[Blackgeneral]

Blackgeneral, не пугайте девушку 
Mediapartners-Google используют те кто пользуется AdSense .
Всё у вас нормально по поводу этого бота.
Если хотите понять вот инструкция:
http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=1061943

И в мыслях не было пугать 
Как перевелось, так и высказал свое предположение, а вот с Disallow: ошибочка вышла - проморгал слешь и сказал не так, но нашлись люди и поправили   

[Avadon]

NeSeo, вы хотите сказать что стоит пренебречь рекомендацией Гугла?

Blackgeneral, нет кроме этого уточнения вы правильно раскрыли роботс, поэтому я про остальное и не писал )

[NeSeo]

NeSeo, вы хотите сказать что стоит пренебречь рекомендацией Гугла?

Ссылочку дайте на рекомендацию, а то разговор ни о чём.

[Avadon]

NeSeo, этот форум обязывает быть дружелюбным, поэтому:
1.Внимательно прочтите предыдущие сообщения.
2.Осмыслите, что в них сказано, ознакомтесь с предоставленными там ссылками.
3.А потом продолжим разговор.

[NeSeo]

Avadon,

Мой пост был к вопросу http://www.sbup.com/seo-forum/wordpress/robots_txt/msg40840/#msg40840

Я писал про комментарии на русском языке, о чём свидетельствует цитата.
Вот пример, как можно писать комментарии в роботс.тхт: http://seocompas.ru/Robimap.html

[Avadon]

Полностью признаю вашу правоту, я не заметил на какой пост вы ответили.
Простите меня?

[NeSeo]

Я сам виноват. Хорошо, что напомнили про дружелюбность .

[Платон Щукин]

Вопросы такие у меня, на данный момент у меня robots.txt вот такой:

Код Выделить Развернуть

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.домен
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://домен/sitemap.xml

Хочу поставить вот этот:

Код Выделить Развернуть

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: домен

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Sitemap: http://домен/sitemap.xml
Sitemap: http://домен/sitemap.xml.gz

Чем мне это грозит?
Нужно ли прописывать вот эту строчку

Код Выделить Развернуть

Sitemap: http://домен/sitemap.xml.gz
И по хосту, в старом robots.txt у меня стоял домен с www вообще открывается блог без www как мне записать?
Возможно еще что-то упустил, посоветуйте что убрать или дополнить.

[aristocrat]

Подскажите, пожалуйста, как в robots.txt закрыть от индексации несколько дублей страниц. У главной страницы адрес такой домен/catalog/Item.aspx?id=6. Но есть еще на сайте домен/catalog/Item.aspx?id=6&lid=1 и домен/catalog/Item.aspx?id=6&lid=2. При этом Яндекс проиндексировал один из дублей, а главную не хочет.  Как быть?

Пытался прописать:

Dissalow: /catalog/Item.aspx?id=6*

Но получается, что закрывается и /catalog/Item.aspx?id=6

[Victorio]

armid, глянь, такой как?
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Allow: /wp-content/uploads/


Насколько эти важны?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /author/

Я еще закрываю архивы, которые просто плодят дубли.
Disallow: /2011