Описание недоступно из-за ограничений в файле robots.txt

Автор Тема: Описание недоступно из-за ограничений в файле robots.txt  (Прочитано 1124 раз)

Оффлайн skyline1983Автор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 1
  • Карма: 0
    • Просмотр профиля

Оффлайн skyline1983Автор темы

  • Дебютант
  • *
Ребят помогите советом.
Сайт выпал из поисковиков. Сайт на Joomla 3. При вводе адреса сайта в поисковиках google выдает сообщение:
 Описание недоступно из-за ограничений в файле robots.txt
Хостер проверял сайт на вирусы. Все ок!

Serch Console Выдает ошибку 403    
novosti/Page-5.html   код ответа 403

robots.txt не изменялся и находится на месте
User-agent: *
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Allow: /images/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*mailto/
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Sitemap: http://****.com.ua/index.php?option=com_xmap&view=xml&tmpl=component&id=1

User-agent: Yandex
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Allow: /images/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*mailto/
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Host: motto-beaute.com.ua
Sitemap: http://***.com.ua/index.php?option=com_xmap&view=xml&tmpl=component&id=1
Clean-param: searchword /
Crawl-delay: 5


Подскажите в какую сторону копать?


Онлайн ВикторияИ

  • Модератор
  • Бизнес оценка: (0)
  • *****
  • СПАСИБО: 3061
  • Сообщений: 4106
  • Карма: 191
  • и да прибудет с Вами Сила.
  • Награды Автор самой интересной темы Более одной тысячи спасибо КМС поисковой оптимизации
    • Просмотр профиля
    • Заказ автобуса в Одессе

Онлайн ВикторияИ

  • Модератор
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 3061
    • Сообщений: 4106
    • Карма: 191
    • и да прибудет с Вами Сила.
    • Награды Автор самой интересной темы Более одной тысячи спасибо КМС поисковой оптимизации
      • Просмотр профиля
      • Заказ автобуса в Одессе
Подскажите в какую сторону копать?
Зачем вот это:
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Allow: /images/
сайтпэпы указываются в директиве sitemap, картинки итак будут индексироваться - главное их не запрещать )))

да и вообще не понимаю зачем в роботсе что то разрешать, если разрешено все кроме урлов в disallow...


поудаляйте все лишнее - если боитесь дублей, пропишите в htaccess 301 редирект (с index.html у Вас его нету) - страницы склеятся, и дублей не будет...

нормальный роботс для joomla выглядит примерно так:

(нажмите чтобы показать/скрыть)


 

Похожие темы

  Тема / Автор Ответов Последний ответ
5 Ответов
3611 Просмотров
Последний ответ 03-10-2011, 15:40:03
от bumer
5 Ответов
2186 Просмотров
Последний ответ 15-02-2013, 09:35:54
от tureg1
1 Ответов
1288 Просмотров
Последний ответ 25-01-2014, 14:22:39
от Sky-fi
3 Ответов
1300 Просмотров
Последний ответ 18-10-2014, 12:56:10
от DOleg
5 Ответов
1704 Просмотров
Последний ответ 22-09-2017, 17:24:55
от Coder