Подскажите что не так с этим robots.txt ?

Автор Тема: Подскажите что не так с этим robots.txt ?  (Прочитано 857 раз)

Оффлайн codjerАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 5
  • Карма: 0
    • Просмотр профиля

Оффлайн codjerАвтор темы

  • Дебютант
  • *
Привет, в панеле для вебмастеров гугл пишет. На ресурсе выявлены серьезные проблемы. Некоторые важные страницы блокируются в файле robots.txt. Что мешает? Я так понимаю строка Disallow: /  Нужно удалить или не трогать, она вроде блокирует MJ12bot? что это правда такое я не знаю, robots.txt писал не я.

User-agent: Yandex
Sitemap: http://site.ru/sitemap.xml
Host: http://site.ru/

User-agent: Googlebot
Sitemap: http://site.ru/sitemap.xml

User-agent: MJ12bot
Disallow: /

User-agent: *
Sitemap: http://site.ru/sitemap.xml


Оффлайн Sky-fi

  • Глобальный модератор
  • Бизнес оценка: (9, 100%)
  • *****
  • СПАСИБО: 3778
  • Сообщений: 5397
  • Карма: 333
  • Пол: Мужской
  • Раскрутка сайтов
  • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
    • Просмотр профиля
    • Частный SEO оптимизатор Sky-fi

Оффлайн Sky-fi

  • Глобальный модератор
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 3778
    • Сообщений: 5397
    • Карма: 333
    • Пол: Мужской
    • Раскрутка сайтов
    • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
      • Просмотр профиля
      • Частный SEO оптимизатор Sky-fi
Указанная вами строка не имеет отношения к гуглу. А вообще роботс странный. Напишите хоть Allow: /, если не хотите ничего блoкировать.
« Последнее редактирование: 23-02-2016, 14:29:38 от Sky-fi »

Оффлайн alexandrius

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 21
  • Сообщений: 104
  • Карма: 3
  • Пол: Мужской
    • Просмотр профиля
    • Города Белоруссии

Оффлайн alexandrius

  • Постоялец
  • ***
Для гугла здесь ничего не блокируется. А зачем блoкировать  MJ12bot? Неужели он такую огромную нагрузку создаёт? Следующие строки можно смело удалять:
User-agent: Googlebot
Sitemap: http://site.ru/sitemap.xml
User-agent: MJ12bot
Disallow: /
Информация обо всех городах Белоруссии здесь: http://gorbel.ru/


 

Похожие темы

  Тема / Автор Ответов Последний ответ
12 Ответов
3936 Просмотров
Последний ответ 06-07-2016, 18:45:54
от 3eJleHblu_CeoLLlHuk
4 Ответов
2778 Просмотров
Последний ответ 25-03-2011, 17:14:56
от Fess
7 Ответов
1686 Просмотров
Последний ответ 06-08-2011, 14:16:24
от KaZaK
2 Ответов
695 Просмотров
Последний ответ 30-03-2015, 17:51:19
от Boull
3 Ответов
1350 Просмотров
Последний ответ 28-07-2017, 09:14:38
от Владимир75