Ошибка "чайника" с Robots.txt

Автор Тема: Ошибка "чайника" с Robots.txt  (Прочитано 4391 раз)

Оффлайн misecondi01Автор темы

  • Бизнес оценка: (4, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 379
  • Сообщений: 525
  • Карма: 52
  • Пол: Мужской
  • Опять черно-белые будни...
  • Награды КМС поисковой оптимизации
    • Блог о фрилансе

Оффлайн misecondi01Автор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (4, 100%)
    • СПАСИБО: 379
    • Сообщений: 525
    • Карма: 52
    • Пол: Мужской
    • Опять черно-белые будни...
    • Награды КМС поисковой оптимизации
      • Блог о фрилансе
Ошибка "чайника" с Robots.txt
« : 31-05-2011, 13:31:10 »
Просидев три недели в Бане от Гоши, решил, что все-таки должен рассказать об этом другим. Дело в том, что в начале мая не разобравшись в теме, сделал довольно опрометчивый шаг в продвижении своего блога. А конкретно, взял и установил на него Robots.txt от Яши, причем даже не разобравшись как следует. Что в результате дало два плюсика у того же Яши, но зато сработало прямо противоположно у Гоши, если быть точным, то у AdSense. Их робот просто напросто перестал посещать мой блог и как говорится "плакали мои денежки".
Конечно, профи так и скажут "че с чайника возьмешь", но новичкам думаю мой горький опыт пригодится.
Русские WordPress темы  и лучший хостинг теперь вместе навсегда...


Оффлайн Avadon

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 455
  • Сообщений: 1320
  • Карма: 40
  • Пол: Мужской
  • Награды Мастер вывода в Яндекс ТОП 1 За благотворительность Самая быстрая регистрация (индексация) сайта в Яндекс

Оффлайн Avadon

  • Ветеран
  • *****
Re: Ошибка "чайника" с Robots.txt
« Ответ #1 : 31-05-2011, 14:13:17 »
для того чтоб ваш опыт помог другим, опишите ваш случай с примерами.
как вы сделали неправильно и что потом пришлось исправлять (и почему).

Оффлайн misecondi01Автор темы

  • Бизнес оценка: (4, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 379
  • Сообщений: 525
  • Карма: 52
  • Пол: Мужской
  • Опять черно-белые будни...
  • Награды КМС поисковой оптимизации
    • Блог о фрилансе

Оффлайн misecondi01Автор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (4, 100%)
    • СПАСИБО: 379
    • Сообщений: 525
    • Карма: 52
    • Пол: Мужской
    • Опять черно-белые будни...
    • Награды КМС поисковой оптимизации
      • Блог о фрилансе
Re: Ошибка "чайника" с Robots.txt
« Ответ #2 : 31-05-2011, 15:36:07 »
для того чтоб ваш опыт помог другим, опишите ваш случай с примерами.
как вы сделали неправильно и что потом пришлось исправлять (и почему).

Дело было так, как я уже написал. Решил установить на блог Robots.txt от Яши, для этого воспользовался их сервисом (только вот ссылку сейчас не вспомню), в общем на автомате сгенерировал и загнал в шаблон, причем принято было без всяких мета тегов (после <head>). И как ни странно, потом я его там не нашел. Через некоторое время, когда узнал, что сделал не то, что надо, начал искать пути исправления ошибки. Обратиться за помощью сюда на форум просто постеснялся, хотя зря.
Перечитал все подобные темы, пролистал статьи из учебника, только потом начал действовать. По моему в одной из тем форума была ссылка, где подробно описывались все роботы и непосредственно формы создания Robots.txt для каждого из них. Одной из таких форм я и воспользовался, именно для AdSense (User-agent: Mediapartners-Google). Через мета тег вставил в шаблон блога. Выглядит это вот так:
<meta content='User-agent: Mediapartners-Google                     Allow:/' name='INDEX, FOLLOW'/>
Но, как выяснилось позже, этого мало для других роботов и по совету одного мастера, пришлось добавить еще это:
<meta content='User-agent: * Disallow:' name='INDEX, FOLLOW'/>
Теперь, все заработало нормально и блог опять стал индексироваться. Хотя потери были действительно приличные, потому, что посещаемость этого месяца была примерно 100 в сутки.
 
« Последнее редактирование: 31-05-2011, 15:38:26 от misecondi01 »
Русские WordPress темы  и лучший хостинг теперь вместе навсегда...

Оффлайн westneo

  • Бизнес оценка: (1, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 149
  • Сообщений: 965
  • Карма: 22
  • Пол: Мужской

Оффлайн westneo

  • Ветеран
  • *****
Re: Ошибка "чайника" с Robots.txt
« Ответ #3 : 31-05-2011, 21:39:58 »
Что то ни фига не понял.
Вы в мета тегах что то не так сделали или c robots.txt ?
Как я понял из последнего поста, ошибка была именно с мета тегами, а при чем тогда роботс?
« Последнее редактирование: 31-05-2011, 21:41:42 от westneo »

Оффлайн misecondi01Автор темы

  • Бизнес оценка: (4, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 379
  • Сообщений: 525
  • Карма: 52
  • Пол: Мужской
  • Опять черно-белые будни...
  • Награды КМС поисковой оптимизации
    • Блог о фрилансе

Оффлайн misecondi01Автор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (4, 100%)
    • СПАСИБО: 379
    • Сообщений: 525
    • Карма: 52
    • Пол: Мужской
    • Опять черно-белые будни...
    • Награды КМС поисковой оптимизации
      • Блог о фрилансе
Re: Ошибка "чайника" с Robots.txt
« Ответ #4 : 31-05-2011, 21:48:17 »
Что то ни фига не понял.
Вы в мета тегах что то не так сделали или c robots.txt ?
Как я понял из последнего поста, ошибка была именно с мета тегами, а при чем тогда роботс?
Нет, наоборот, сначала я не использовал мета теги, а просто поставил неправильно сгенерированный роботс под <head> и он автоматом куда зашел (может на сервер, но я это не знаю), потом его не было в шаблоне, а через проверку яши стоял именно он.
А с помощью мета тегов я уже исправлял ситуацию, устанавливая правильный роботс.
Русские WordPress темы  и лучший хостинг теперь вместе навсегда...


Оффлайн westneo

  • Бизнес оценка: (1, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 149
  • Сообщений: 965
  • Карма: 22
  • Пол: Мужской

Оффлайн westneo

  • Ветеран
  • *****
Re: Ошибка "чайника" с Robots.txt
« Ответ #5 : 31-05-2011, 22:02:25 »
Блин я еще больше запутался...
robots.txt - это файл отдельный, причем тут <head> и шаблон?
« Последнее редактирование: 31-05-2011, 22:09:55 от westneo »

Оффлайн misecondi01Автор темы

  • Бизнес оценка: (4, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 379
  • Сообщений: 525
  • Карма: 52
  • Пол: Мужской
  • Опять черно-белые будни...
  • Награды КМС поисковой оптимизации
    • Блог о фрилансе

Оффлайн misecondi01Автор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (4, 100%)
    • СПАСИБО: 379
    • Сообщений: 525
    • Карма: 52
    • Пол: Мужской
    • Опять черно-белые будни...
    • Награды КМС поисковой оптимизации
      • Блог о фрилансе
Re: Ошибка "чайника" с Robots.txt
« Ответ #6 : 31-05-2011, 22:18:22 »
Блин я еще больше запутался...
robots.txt - это файл отдельный, причем тут <head> и шаблон?


С помощью указанного вами первого урла я создал роботс для своего блога, хотел чтобы яша его быстрей индексировал.
А в шаблоне блогспота есть возможность изменить хмл, вот именно там под <head> я его и поставил, только в чистом виде без мета тегов и шаблон его каким-то образом съел.
Русские WordPress темы  и лучший хостинг теперь вместе навсегда...

Оффлайн vladimir1983

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 79
  • Сообщений: 921
  • Карма: 101
  • Пол: Мужской
  • Награды За благотворительность Почетный гражданин нашего форума
    • Волнистые попугаи

Оффлайн vladimir1983

  • Ветеран
  • *****
Re: Ошибка "чайника" с Robots.txt
« Ответ #7 : 01-06-2011, 02:26:24 »
misecondi01, вам бы разобраться и понять что такое  robots.txt, а что такое мета-теги.
А так то да, всё очень печально у вас, и с вами...

Оффлайн misecondi01Автор темы

  • Бизнес оценка: (4, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 379
  • Сообщений: 525
  • Карма: 52
  • Пол: Мужской
  • Опять черно-белые будни...
  • Награды КМС поисковой оптимизации
    • Блог о фрилансе

Оффлайн misecondi01Автор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (4, 100%)
    • СПАСИБО: 379
    • Сообщений: 525
    • Карма: 52
    • Пол: Мужской
    • Опять черно-белые будни...
    • Награды КМС поисковой оптимизации
      • Блог о фрилансе
Re: Ошибка "чайника" с Robots.txt
« Ответ #8 : 01-06-2011, 06:52:02 »
misecondi01, вам бы разобраться и понять что такое  robots.txt, а что такое мета-теги.
А так то да, всё очень печально у вас, и с вами...


В этом вы совершенно правы vladimir1983, мне еще учиться, учиться и учиться, как завещал великий Л...  ???
И, конечно же, надеюсь что моя безграмотная ошибка сослужит примером другим таким же, тем кто хочет чему то научиться.
Для себя я в очередной раз понял, что прежде чем что-то сделать, надо по крайней мере посоветоваться с опытными людьми.
Русские WordPress темы  и лучший хостинг теперь вместе навсегда...


Оффлайн westneo

  • Бизнес оценка: (1, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 149
  • Сообщений: 965
  • Карма: 22
  • Пол: Мужской

Оффлайн westneo

  • Ветеран
  • *****
Re: Ошибка "чайника" с Robots.txt
« Ответ #9 : 01-06-2011, 17:23:05 »
Прошу прощения урлы удалил, хотел какvladimir1983,  ссылочки сделать и в итоге забыл что делал и удалил. Но vladimir1983,  вовремя подправил тему :)
misecondi01, вот как
С помощью указанного вами первого урла я создал роботс для своего блога,
вот именно там под <head> я его и поставил
Роботс (robots.txt) он не вставляется в код HTML тот текст нужно записывать в файл с названием robots.txt и выкладывать в корень сайта.
Как я понимаю речь идет о сайте в подписи, я бы на вашем месте убрал теги
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.   
Если очень хочется мета теги прописать пропишите
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.
А все остальное в robots.txt прописывать http://вашсайт.ру/robots.txt
как то так, может кто добавит.

а вот еще эта строчка, смущает
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.Если вы используете описание структуры вашего сайта в формате sitemaps.xml, и хотите, чтобы робот узнал о ней, укажите путь к sitemaps.xml в качестве параметра директивы 'Sitemap' (если файлов несколько, укажите все).

Я понимаю что RSS тоже в XML представлен, но выже не будете выводить в RSS все посты когда у вас их будет много.
« Последнее редактирование: 01-06-2011, 17:27:36 от westneo »


 

Похожие темы

  Тема / Автор Ответов Последний ответ
7 Ответов
2463 Просмотров
Последний ответ 27-02-2011, 21:14:52
от zemleroika
12 Ответов
2414 Просмотров
Последний ответ 11-07-2011, 17:47:35
от Sevab
1 Ответов
2311 Просмотров
Последний ответ 24-09-2011, 12:24:21
от zigli
11 Ответов
3482 Просмотров
Последний ответ 06-03-2013, 10:29:44
от webuser
1 Ответов
419 Просмотров
Последний ответ 28-06-2018, 13:03:53
от zanuda