правильный robots.txt для joomla

[GEORGY]

как правильно оформить robots.txt для joomla,
закрыть технические страницы,?
как должен выглядеть файл?

[SeoBrabus]

http://avtomatoff.com/robots.txt  у меня такой, не претендую на идеальность но вроде нормальный.

[GEORGY]

http://avtomatoff.com/robots.txt  у меня такой, не претендую на идеальность но вроде нормальный.

прокоментируй пожалуйста вот эти дерективы:
Disallow: /xmlrpc/
Disallow: /index2.php?
Disallow: /index.php?*
Disallow: /index.php
Disallow: /*print=1
Disallow: /*format=pdf
Disallow: /index2.php
Disallow: /*?format=pdf*
Disallow: /*?format=feed&type*
Disallow: /*format=feed&type*
Disallow: /*feed*
Disallow: /*rss.html
Disallow: /*rss*
Disallow: /*atom.html
Disallow: /*.pdf
Disallow: /*.doc
Disallow: /*print
Disallow: /saturatory/satur/
Disallow: /torgovye/tor/
Disallow: /pf/o-fontanah/
Disallow: /*?start=*
Disallow: /*?*

[Ametist]

GEORGY, Читайте пояснения по написанию robots.txt на самом Яндексе, на многочисленных пояснительных страницах.

P.S. послушайте, как я поняла из некоторых ваших сообщений, вы оказываете услуги?
Можно поинтересоваться направлением услуг?

[GEORGY]

GEORGY, Читайте пояснения по написанию robots.txt на самом Яндексе, на многочисленных пояснительных страницах.

P.S. послушайте, как я поняла из некоторых ваших сообщений, вы оказываете услуги?
Можно поинтересоваться направлением услуг?

нет, мы не оказываем услуги, мы учимся на своих ошибках

Добавлено: 06-11-2012, 19:38:49

прокоментируй пожалуйста вот эти дерективы:
Disallow: /xmlrpc/
Disallow: /index2.php?
Disallow: /index.php?*
Disallow: /index.php
Disallow: /*print=1
Disallow: /*format=pdf
Disallow: /index2.php
Disallow: /*?format=pdf*
Disallow: /*?format=feed&type*
Disallow: /*format=feed&type*
Disallow: /*feed*
Disallow: /*rss.html
Disallow: /*rss*
Disallow: /*atom.html
Disallow: /*.pdf
Disallow: /*.doc
Disallow: /*print
Disallow: /saturatory/satur/
Disallow: /torgovye/tor/
Disallow: /pf/o-fontanah/
Disallow: /*?start=*
Disallow: /*?*

у вас sitemap.xml "вручную" составлен, динамически формируется, или расширение для joomla установили и какое?
спасибо большое

[SeoBrabus]

у вас sitemap.xml "вручную" составлен, динамически формируется, или расширение для joomla установили и какое?

составлен http://www.xml-sitemaps.com/ вот тут

[Vasiliy111]

Для оформления файла robots.txt для Joomla и закрытия технических страниц следует использовать следующий пример:

User-agent: *
Disallow: /administrator/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/

Этот файл robots.txt запретит поисковым роботам индексацию указанных папок, которые обычно содержат технические страницы и файлы. После создания файла его необходимо поместить в корневую директорию сайта Joomla.

Дополнительно, для более точной настройки индексации страниц в Joomla вы можете использовать компонент "Менеджер мета-тегов" или плагины SEO, которые позволяют управлять мета-тегами страниц и индексацией через саму административную панель Joomla.

Также рекомендуется настроить человекочитаемые URL (ЧПУ) для страниц сайта, чтобы они имели более информативный вид и были легче воспринимаемыми поисковыми системами. Это можно сделать в настройках Joomla, в разделе "Глобальные настройки".

Используйте плагины и расширения, такие как SEO Boss, SH404SEF или JoomSEF, чтобы дополнительно управлять параметрами индексации страниц и улучшить SEO вашего сайта на Joomla.

Дополнительно, для более тщательной настройки файла robots.txt можно использовать директиву "Allow", чтобы разрешить индексацию определенных папок или файлов, если это необходимо.

Например, если у вас есть каталог изображений, который вы хотите разрешить индексировать поисковым роботам, вы можете добавить следующую строку в файл robots.txt:

Allow: /images/

Это позволит поисковым системам индексировать содержимое папки /images/.

Также важно периодически проверять и обновлять файл robots.txt, особенно при внесении изменений в структуру сайта Joomla, чтобы убедиться, что все страницы, которые должны быть скрыты от поисковых систем, действительно остаются недоступными.

[GEORGY]

у joomla для карты сайта есть хороший компонент - Xmap

да но sitemap.xml у него выглядит следующим образом: /index.php?option=com_xmap&view=xml&id=1

[Vasiliy111]

и что?
там два формата:
карта сайта на XML- /index.php?option=com_xmap&sitemap=1&view=xml
катра сайта в HTML -/index.php?option=com_xmap&sitemap=1

[GEORGY]

и что?
там два формата:
карта сайта на XML- /index.php?option=com_xmap&sitemap=1&view=xml
катра сайта в HTML -/index.php?option=com_xmap&sitemap=1

не пробывал его привести к нормальному виду (стандартному)?