Доброго времени суток!сдал сайт на индексацию и в вебмастере Исключённые страницы ? Страницы запрещены к индексированию вебмастером или не существуют
дoкумент запрещен в файле robots.txt
Посмотрите пожалуйста в чем ошибка или где найти url запрещенные файлы
# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://tool.motoricerca.info/robots-checker.phtml
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Sitemap: http://freezan.com/sitemap.xml
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: vash_sait.ru
Sitemap: http://freezan.com/sitemap.xml
при проверки файла яндексом пишет:
Результаты проверки (6 ошибок)
Произошла внутренняя ошибка. Попробуйте повторить попытку позже.Превышено время ожидания ответа.
Неправильный адрес страницы
Строка 1: User-agent: *
Неправильный адрес страницы
Строка 2: Disallow: /administrator/
Неправильный адрес страницы
Строка 3: Disallow: /cache/
Неправильный адрес страницы
Строка 4: Disallow: /includes/
Неправильный адрес страницы
Строка 5: Disallow: /installation/
Неправильный формат текста
ошибка
Host: vash_sait.ru
впишите свой домен freezan.com
спасибо.
а это нужно или удалить с файл ропатс
# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://tool.motoricerca.info/robots-checker.phtml
нужено ли вписать comanents?
удалите, это комментарии
а функции companent нужно в файле ropots.txt?
не понятно, какие компоненты;
закрываете все, что не должно быть в поиске
пользуйтесь анализатором для проверки
http://webmaster.yandex.ru/robots.xml
правила составления
http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml
Спсаибо большое
вот я проверил в яндексе вот результат
http://s03.radikal.ru/i176/1410/f1/9b3413b8abdct.jpg
там можете вставлять урлы сайта для проверки
"Список урл-добавить-проверить"
формировать нужный robots.txt
разберетесь вобщем
спасибо за ответ