robots.txt

[Blackgeneral]

Подскажите, в какой кодировке должен быть robots.txt?
Я читал что в UTF-8/ Верно ли это?

[Avadon]

откройте свой файл роботс в адресной строке
Если всё читается верно(а он будет читаться), то не заморачивайтесь с кодировкой.

[Sevab]

Если у вас там только английские буквы, то кодировка значения не имеет, т.к. эти буквы во всех кодировках одинаковые.

[Blackgeneral]

Если у вас там только английские буквы, то кодировка значения не имеет, т.к. эти буквы во всех кодировках одинаковые.

у него комментарии на русском

[olga55]

Вот   вебмастер Яндекса пишет, что у меня на блоге такой robots.txt (Блогспот), что это значит? С индексацией проблемы, а что и где пока только ищу.
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Disallow: /related-content.g
Disallow: /related_content_helper.html

Sitemap: http://www.virova2blogger.ru/feeds/posts/default?orderby=updated
Перевод  слов не помогает

[Blackgeneral]

Вот   вебмастер Яндекса пишет, что у меня на блоге такой robots.txt (Блогспот), что это значит? С индексацией проблемы, а что и где пока только ищу.
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Disallow: /related-content.g
Disallow: /related_content_helper.html

Sitemap: http://www.virova2blogger.ru/feeds/posts/default?orderby=updated
Перевод  слов не помогает

У Вас блог закрыт для индексации для медиа-партнеров Гугла (не знаю что значит "медиа-партнеры" надо у Гугла спрашивать).
Для всех остальных закрыты для индексации рaзделы (файлы) на блоге:
search;
related-content.g;
related_content_helper.html.

В конце указана ссылка на карту сайта.

[Avadon]

Blackgeneral, не пугайте девушку 
Mediapartners-Google используют те кто пользуется AdSense .
Всё у вас нормально по поводу этого бота.
Если хотите понять вот инструкция:
http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=1061943

[olga55]

Я так понимаю, что  у меня закрыты Гугловские рекламки, а все остальное в порядке?

[Avadon]

Нет, вы ошибаетесь.
По стандарту инструкция Disallow является обязательной, по этому и указывают пустой Disallow, что означает ничего не запрещено.
Почувствуйте разницу между этими строчками:
Disallow: / -запрещенна индексация сайта
Disallow:   -не запрещает индексацию сайта
Вот такой коленкор 

[NeSeo]

у него комментарии на русском

Вряд ли робот поймёт комментарий "Эта примочка, шоб лучше индексировалось"