Описание недоступно из-за ограничений в файле robots.txt

Автор skyline1983, 01-09-2016, 21:31:32

« назад - далее »

skyline1983Topic starter

Ребят помогите советом.
Сайт выпал из поисковиков. Сайт на Joomla 3. При вводе адреса сайта в поисковиках google выдает сообщение:
Описание недоступно из-за ограничений в файле robots.txt
Хостер проверял сайт на вирусы. Все ок!

Serch Console Выдает ошибку 403    
novosti/Page-5.html   код ответа 403

robots.txt не изменялся и находится на месте
User-agent: *
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Allow: /images/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*mailto/
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Sitemap: http://****.com.ua/index.php?option=com_xmap&view=xml&tmpl=component&id=1

User-agent: Yandex
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Allow: /images/
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*mailto/
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Host: motto-beaute.com.ua
Sitemap: http://***.com.ua/index.php?option=com_xmap&view=xml&tmpl=component&id=1
Clean-param: searchword /
Crawl-delay: 5


Подскажите в какую сторону копать?
  •  


ВикторияИ

Цитата: skyline1983 от 01-09-2016, 21:31:32Подскажите в какую сторону копать?
Зачем вот это:
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Allow: /images/
сайтпэпы указываются в директиве sitemap, картинки итак будут индексироваться - главное их не запрещать )))

да и вообще не понимаю зачем в роботсе что то разрешать, если разрешено все кроме урлов в disallow...


поудаляйте все лишнее - если боитесь дублей, пропишите в htaccess 301 редирект (с index.html у Вас его нету) - страницы склеятся, и дублей не будет...

нормальный роботс для joomla выглядит примерно так:

[spoiler]
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: ваш-сайт.ru
Sitemap: http://путь к вашей карте XML формата
[/spoiler]