правильный robots.txt для joomla

[Vasiliy111]

в смысле к нормальному виду?
адрес в формате XML вы прописываете в robots.txt. А для отображения на самом сайте карты создаете пункт меню и прописываете для нее какой угодно URL

[NickTer1]

Подробно и упорядоченно о robots.txt можно посмотреть тут - http://money-me.ru/stati/136-pravilnyj-robots-txt

[nazar951]

у меня такой, верный или нет?

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://tool.motoricerca.info/robots-checker.phtml

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

[badhit]

nazar951, это тупо стоковый robots.txt. Что Вы хотите услышать, какие комментарии по этому поводу? Он по-определению верный.
Другой вопрос, что Вы хотите от этого файла, и будет ли для этого достаточно того, что в нём написано.

[ErikKartman]

у меня такой, верный или нет?

Вот так лучше будет:

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Host: супер.сайт
Sitemap: http://супер.сайт/карта_сайта

  Есть ещё возможность прописывать много чего, смотря от того что на сайте за расширения.

[badhit]

Довольно давненько, для отображения сайта в мобильном/адаптированном виде Google возжелал видеть страницы сайта в полноценном виде, т.е. все стили и скрипты должны быть ему разрешены. Другими словами Googlebot должен видеть сайт так же, как и посетители. Но, в robots.txt папки с шаблонами и медиа закрыты, как правило. Так уж повелось с незапамятных времён. Чтобы исправить ситуацию достаточно в самом начале добавить такие строки:

Код Выделить Развернуть


User-agent: Googlebot
Allow: *.css
Allow: *.js


Я прописываю до строки:
User-agent: *

Если ваш сайт не имеет мобильного вида и не адаптирован под различные устройства, то думаю нет смысла править robots.txt. Но, если же сайт дружит с мобилками, то стоит проверить, не матерится ли Googlebot при проверки сайта на мобилфрендс.

P.S. Если кому есть что дополнить, или поправить меня, только приветствуется.

[ProtectYourSite]

Allow: *.css
Allow: *.js

Не всегда может работать из-за приоритетов.
Начиная с какой-то версии джумла 3 файл robots.txt уже не блокирует шаблоны и медиафайлы, немногие просто обновляют строки.
Лично моё мнение, ненужные страницы должны отдавать сами плохой ответ сервера, а не запрещать в robots.txt

[badhit]

Не всегда может работать из-за приоритетов.

Потому и пишу вначале, и только для Гуглабота. В других интерпретациях не работало у меня, а этот способ вроде как, если и не 100%, то около того.

Начиная с какой-то версии джумла 3 файл robots.txt уже не блокирует шаблоны и медиафайлы, немногие просто обновляют строки.

Да фиг знает, какие ещё скрипты могут понадобится гуглу, функционал может быть разношёрстный на каждом сайте, потому, нежели открывать отдельные папки, универсальнее будет тупо разрешить стили и скрипты. Разве нет?