Не удалось загрузить robots.txt.

Автор Тема: Не удалось загрузить robots.txt.  (Прочитано 6229 раз)

Оффлайн anriАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 141
  • Сообщений: 244
  • Карма: 3
    • строительные материалы

Оффлайн anriАвтор темы

  • Постоялец
  • ***
Делал 301 редирект www->без www
В robots.txt Host: _www.site.ru ->Host: site.ru
http://idealservise.ru/robots.txt
Уже и chmod 777 сделал
Все равно в вебмастере яндекса


Оффлайн Ю-Мастер

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 43
  • Сообщений: 295
  • Карма: 13
  • Пол: Мужской

Оффлайн Ю-Мастер

  • Старожил
  • ****
Re: Не удалось загрузить robots.txt.
« Ответ #1 : 30-03-2011, 14:45:04 »
На строчку выше, чем Host: site.ru надо влепить
User-agent: Yandex
Учусь по-немножку

Оффлайн anriАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 141
  • Сообщений: 244
  • Карма: 3
    • строительные материалы

Оффлайн anriАвтор темы

  • Постоялец
  • ***
Re: Не удалось загрузить robots.txt.
« Ответ #2 : 30-03-2011, 14:47:34 »
На строчку выше, чем Host: site.ru надо влепить
User-agent: Yandex
Зачем?
Я хочу чтоб для всех ботов было одно условие.

Оффлайн ReCopier

  • Бизнес оценка: (2, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 232
  • Сообщений: 812
  • Карма: 47
  • Пол: Мужской
  • Копирайтер, веб-разработчик
  • Награды За благотворительность Профессиональный копирайтер
    • Проект «Надежда» - поиск доноров крови по всей России

Оффлайн ReCopier

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (2, 100%)
    • СПАСИБО: 232
    • Сообщений: 812
    • Карма: 47
    • Пол: Мужской
    • Копирайтер, веб-разработчик
    • Награды За благотворительность Профессиональный копирайтер
      • Проект «Надежда» - поиск доноров крови по всей России
Re: Не удалось загрузить robots.txt.
« Ответ #3 : 30-03-2011, 14:51:24 »
Зачем?
Я хочу чтоб для всех ботов было одно условие.
Тогда сделайте так

Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.Думаю, что так будет лучше.
Только не забудте сделать карту сайта. Если не будете делать, то уберите строки
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.Директива Host в правилах для Гоши - лишняя. Это только для Яши нужно указывать.
Если не прав, то поправьте.
« Последнее редактирование: 30-03-2011, 14:53:12 от ReCopier »

Оффлайн Ю-Мастер

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 43
  • Сообщений: 295
  • Карма: 13
  • Пол: Мужской

Оффлайн Ю-Мастер

  • Старожил
  • ****
Re: Не удалось загрузить robots.txt.
« Ответ #4 : 30-03-2011, 14:55:52 »
Для Гугла "с www или  без www" указывается в панели вэбмастера гугля, для Яндекса - именно таким способом, как я написал.
Карту сайта не обязательно делать, у меня и без карты все прошло нормально. Хотя, возможно, это ускорит процесс для старых сайтов. У меня был новый.
« Последнее редактирование: 30-03-2011, 14:57:31 от Ю-Мастер »
Учусь по-немножку


Оффлайн anriАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 141
  • Сообщений: 244
  • Карма: 3
    • строительные материалы

Оффлайн anriАвтор темы

  • Постоялец
  • ***
Re: Не удалось загрузить robots.txt.
« Ответ #5 : 30-03-2011, 15:01:29 »
Еще раз, содержание robots.txt будет в одном блоке как в http://www.sbup.com/robots.txt
Все что я сделал это изменил Host: www.idealservise на idealservise.ru и в htacces 301 редирект с ввв на без ввв.
Разве яндексу так сложно переклучиться? 2 страницы улетели из индекса после этого :(

Оффлайн bumer

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 1706
  • Сообщений: 5126
  • Карма: 215
  • Пол: Мужской
  • Награды Автор самой интересной темы Мастер поисковой оптимизации Более одной тысячи спасибо Образцовый блог 2011

Оффлайн bumer

  • Мастер
  • *****
Re: Не удалось загрузить robots.txt.
« Ответ #6 : 30-03-2011, 15:05:37 »
И еще может быть такое что лагает яндекс, я в тот раз тоже так мучился, потом через пару дней все норм добавилось
Незнаешь делать или не делать. Сделай!

Оффлайн anriАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 141
  • Сообщений: 244
  • Карма: 3
    • строительные материалы

Оффлайн anriАвтор темы

  • Постоялец
  • ***
Re: Не удалось загрузить robots.txt.
« Ответ #7 : 30-03-2011, 15:11:35 »
bumer, у тебя и позиции улетали из за этого? :)

Оффлайн Ю-Мастер

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 43
  • Сообщений: 295
  • Карма: 13
  • Пол: Мужской

Оффлайн Ю-Мастер

  • Старожил
  • ****
Re: Не удалось загрузить robots.txt.
« Ответ #8 : 30-03-2011, 15:13:05 »
Нда, на сеобидинге роботс составлен тоже без указания User-agent: Yandex.

Насколько я знаю директиву  Host понимает только Яндекс, поэтому и указывают User-agent: Yandex.

Может админ знает? ;)

А при смене основного домена конечно же позиции изменятся не в лучшую сторону. Остается ждать когда процесс закончится.
« Последнее редактирование: 30-03-2011, 15:15:21 от Ю-Мастер »
Учусь по-немножку


Оффлайн bumer

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 1706
  • Сообщений: 5126
  • Карма: 215
  • Пол: Мужской
  • Награды Автор самой интересной темы Мастер поисковой оптимизации Более одной тысячи спасибо Образцовый блог 2011

Оффлайн bumer

  • Мастер
  • *****
Re: Не удалось загрузить robots.txt.
« Ответ #9 : 30-03-2011, 15:43:25 »
у тебя и позиции улетали из за этого? :)
Особой динамики не заметил, они у меня и так скачут как кенгуру)
Незнаешь делать или не делать. Сделай!


 

Похожие темы