robots.txt

Автор Тема: robots.txt  (Прочитано 11706 раз)

Оффлайн Blackgeneral

  • Бизнес оценка: (3, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 234
  • Сообщений: 635
  • Карма: 36
    • Просмотр профиля

Оффлайн Blackgeneral

  • Ветеран
  • *****
Re: robots.txt
« Ответ #30 : 07-05-2011, 15:11:13 »
Подскажите, в какой кодировке должен быть robots.txt?
Я читал что в UTF-8/ Верно ли это?
Кто хочет, ищет возможность, кто не хочет - причину!
www.blog.yagusya.com - блог о детях и их развитии.


Оффлайн Avadon

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 455
  • Сообщений: 1320
  • Карма: 40
  • Пол: Мужской
  • Награды Мастер вывода в Яндекс ТОП 1 За благотворительность Самая быстрая регистрация (индексация) сайта в Яндекс
    • Просмотр профиля

Оффлайн Avadon

  • Ветеран
  • *****
Re: robots.txt
« Ответ #31 : 07-05-2011, 16:11:17 »
откройте свой файл роботс в адресной строке :)
Если всё читается верно(а он будет читаться), то не заморачивайтесь с кодировкой.

Онлайн Sevab

  • Администратор
  • Бизнес оценка: (6, 100%)
  • *****
  • СПАСИБО: 9875
  • Сообщений: 14494
  • Карма: 663
  • Пол: Мужской
    • Просмотр профиля
    • Trust Directory Project

Онлайн Sevab

  • Администратор
  • *****
Re: robots.txt
« Ответ #32 : 07-05-2011, 16:41:09 »
Если у вас там только английские буквы, то кодировка значения не имеет, т.к. эти буквы во всех кодировках одинаковые.

Оффлайн Blackgeneral

  • Бизнес оценка: (3, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 234
  • Сообщений: 635
  • Карма: 36
    • Просмотр профиля

Оффлайн Blackgeneral

  • Ветеран
  • *****
Re: robots.txt
« Ответ #33 : 07-05-2011, 17:27:15 »
Если у вас там только английские буквы, то кодировка значения не имеет, т.к. эти буквы во всех кодировках одинаковые.
у него комментарии на русском
Кто хочет, ищет возможность, кто не хочет - причину!
www.blog.yagusya.com - блог о детях и их развитии.

Оффлайн olga55

  • Бизнес оценка: (2, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 303
  • Сообщений: 1178
  • Карма: 39
  • Пол: Женский
  • Награды Более 100 спасибо
    • Просмотр профиля

Оффлайн olga55

  • Ветеран
  • *****
Re: robots.txt
« Ответ #34 : 07-05-2011, 18:46:54 »
Вот   вебмастер Яндекса пишет, что у меня на блоге такой robots.txt (Блогспот), что это значит? С индексацией проблемы, а что и где пока только ищу.
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Disallow: /related-content.g
Disallow: /related_content_helper.html

Sitemap: http://www.virova2blogger.ru/feeds/posts/default?orderby=updated
Перевод  слов не помогает
:o ::)


Оффлайн Blackgeneral

  • Бизнес оценка: (3, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 234
  • Сообщений: 635
  • Карма: 36
    • Просмотр профиля

Оффлайн Blackgeneral

  • Ветеран
  • *****
Re: robots.txt
« Ответ #35 : 07-05-2011, 18:59:12 »
Вот   вебмастер Яндекса пишет, что у меня на блоге такой robots.txt (Блогспот), что это значит? С индексацией проблемы, а что и где пока только ищу.
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Disallow: /related-content.g
Disallow: /related_content_helper.html

Sitemap: http://www.virova2blogger.ru/feeds/posts/default?orderby=updated
Перевод  слов не помогает

У Вас блог закрыт для индексации для медиа-партнеров Гугла (не знаю что значит "медиа-партнеры" надо у Гугла спрашивать).
Для всех остальных закрыты для индексации разделы (файлы) на блоге:
search;
related-content.g;
related_content_helper.html.

В конце указана ссылка на карту сайта.
Кто хочет, ищет возможность, кто не хочет - причину!
www.blog.yagusya.com - блог о детях и их развитии.

Оффлайн Avadon

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 455
  • Сообщений: 1320
  • Карма: 40
  • Пол: Мужской
  • Награды Мастер вывода в Яндекс ТОП 1 За благотворительность Самая быстрая регистрация (индексация) сайта в Яндекс
    • Просмотр профиля

Оффлайн Avadon

  • Ветеран
  • *****
Re: robots.txt
« Ответ #36 : 07-05-2011, 19:21:30 »
Blackgeneral, не пугайте девушку  :)
Mediapartners-Google используют те кто пользуется AdSense .
Всё у вас нормально по поводу этого бота.
Если хотите понять вот инструкция:
http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=1061943

Оффлайн olga55

  • Бизнес оценка: (2, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 303
  • Сообщений: 1178
  • Карма: 39
  • Пол: Женский
  • Награды Более 100 спасибо
    • Просмотр профиля

Оффлайн olga55

  • Ветеран
  • *****
Re: robots.txt
« Ответ #37 : 07-05-2011, 19:29:06 »
Я так понимаю, что  у меня закрыты Гугловские рекламки, а все остальное в порядке?
:o ::)

Оффлайн Avadon

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 455
  • Сообщений: 1320
  • Карма: 40
  • Пол: Мужской
  • Награды Мастер вывода в Яндекс ТОП 1 За благотворительность Самая быстрая регистрация (индексация) сайта в Яндекс
    • Просмотр профиля

Оффлайн Avadon

  • Ветеран
  • *****
Re: robots.txt
« Ответ #38 : 07-05-2011, 19:44:28 »
Нет, вы ошибаетесь.
По стандарту инструкция Disallow является обязательной, по этому и указывают пустой Disallow, что означает ничего не запрещено.
Почувствуйте разницу между этими строчками:
Disallow: / -запрещенна индексация сайта
Disallow:   -не запрещает индексацию сайта
Вот такой коленкор  ;)
« Последнее редактирование: 07-05-2011, 19:47:22 от Avadon »


Оффлайн NeSeo

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 208
  • Сообщений: 737
  • Карма: 41
  • Пол: Мужской
  • VashShop.com
    • Просмотр профиля
    • Регистрация доменных имён

Оффлайн NeSeo

  • Ветеран
  • *****
Re: robots.txt
« Ответ #39 : 07-05-2011, 19:50:19 »
Цитировать
у него комментарии на русском

Вряд ли робот поймёт комментарий "Эта примочка, шоб лучше индексировалось" :)
С уважением, Александр.
Биржа купли-продажи сайтов


 

Похожие темы

  Тема / Автор Ответов Последний ответ
7 Ответов
2578 Просмотров
Последний ответ 25-08-2010, 11:37:44
от SeoBrabus
5 Ответов
3961 Просмотров
Последний ответ 27-10-2011, 23:56:20
от leksi
6 Ответов
2868 Просмотров
Последний ответ 03-01-2011, 13:24:13
от KaZaK
14 Ответов
3718 Просмотров
Последний ответ 17-09-2011, 21:56:31
от Tata
4 Ответов
2596 Просмотров
Последний ответ 15-02-2011, 13:09:47
от ReCopier