правильный robots.txt для joomla

Автор Тема: правильный robots.txt для joomla  (Прочитано 6268 раз)

Оффлайн Vasiliy111

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 262
  • Сообщений: 825
  • Карма: 35
    • Просмотр профиля
    • Сайт домашнего электрика

Оффлайн Vasiliy111

  • Ветеран
  • *****
Re: правильный robots.txt для joomla
« Ответ #10 : 07-11-2012, 13:03:53 »
в смысле к нормальному виду?
адрес в формате XML вы прописываете в robots.txt. А для отображения на самом сайте карты создаете пункт меню и прописываете для нее какой угодно URL


Оффлайн NickTer1

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 2
  • Карма: 0
    • Просмотр профиля
    • Платные курсы - бесплатно!

Оффлайн NickTer1

  • Дебютант
  • *
Re: правильный robots.txt для joomla
« Ответ #11 : 10-03-2016, 09:48:32 »
Подробно и упорядоченно о robots.txt можно посмотреть тут - http://money-me.ru/stati/136-pravilnyj-robots-txt
« Последнее редактирование: 10-03-2016, 09:51:32 от NickTer1 »

Оффлайн nazar951

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 8
  • Карма: 0
    • Просмотр профиля

Оффлайн nazar951

  • Дебютант
  • *
Re: правильный robots.txt для joomla
« Ответ #12 : 10-03-2016, 10:10:35 »
у меня такой, верный или нет?

# If the Joomla site is installed within a folder such as at
# e.g. www.example.com/joomla/ the robots.txt file MUST be
# moved to the site root at e.g. www.example.com/robots.txt
# AND the joomla folder name MUST be prefixed to the disallowed
# path, e.g. the Disallow rule for the /administrator/ folder
# MUST be changed to read Disallow: /joomla/administrator/
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/orig.html
#
# For syntax checking, see:
# http://tool.motoricerca.info/robots-checker.phtml

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/


Оффлайн badhit

  • Модератор
  • Бизнес оценка: (0)
  • *****
  • СПАСИБО: 201
  • Сообщений: 417
  • Карма: 19
  • Пол: Мужской
    • Просмотр профиля
    • Проект "В поисках Истины"

Оффлайн badhit

  • Модератор
  • *****
Re: правильный robots.txt для joomla
« Ответ #13 : 12-03-2016, 00:27:21 »
nazar951, это тупо стоковый robots.txt. Что Вы хотите услышать, какие комментарии по этому поводу? Он по-определению верный.
Другой вопрос, что Вы хотите от этого файла, и будет ли для этого достаточно того, что в нём написано.
Пробуди в себе исследователя - "В поисках Истины".
Хостинг alynx.net лучший хостинг по соотношению цена/качество  :-X

Оффлайн ErikKartman

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 3
  • Карма: 0
  • Пол: Мужской
  • это минусинск убил Кенни!
    • Просмотр профиля
    • Inter-Net.PRO

Оффлайн ErikKartman

  • Дебютант
  • *
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 0
    • Сообщений: 3
    • Карма: 0
    • Пол: Мужской
    • это минусинск убил Кенни!
      • Просмотр профиля
      • Inter-Net.PRO
Re: правильный robots.txt для joomla
« Ответ #14 : 19-03-2016, 14:22:08 »
у меня такой, верный или нет?

Вот так лучше будет:

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Host: супер.сайт
Sitemap: http://супер.сайт/карта_сайта

  Есть ещё возможность прописывать много чего, смотря от того что на сайте за расширения.



Оффлайн badhit

  • Модератор
  • Бизнес оценка: (0)
  • *****
  • СПАСИБО: 201
  • Сообщений: 417
  • Карма: 19
  • Пол: Мужской
    • Просмотр профиля
    • Проект "В поисках Истины"

Оффлайн badhit

  • Модератор
  • *****
Re: правильный robots.txt для joomla
« Ответ #15 : 04-12-2016, 00:32:38 »
Довольно давненько, для отображения сайта в мобильном/адаптированном виде Google возжелал видеть страницы сайта в полноценном виде, т.е. все стили и скрипты должны быть ему разрешены. Другими словами Googlebot должен видеть сайт так же, как и посетители. Но, в robots.txt папки с шаблонами и медиа закрыты, как правило. Так уж повелось с незапамятных времён. Чтобы исправить ситуацию достаточно в самом начале добавить такие строки:

Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.
Я прописываю до строки:
User-agent: *

Если ваш сайт не имеет мобильного вида и не адаптирован под различные устройства, то думаю нет смысла править robots.txt. Но, если же сайт дружит с мобилками, то стоит проверить, не матерится ли Googlebot при проверки сайта на мобилфрендс.

P.S. Если кому есть что дополнить, или поправить меня, только приветствуется.
Пробуди в себе исследователя - "В поисках Истины".
Хостинг alynx.net лучший хостинг по соотношению цена/качество  :-X

Оффлайн ProtectYourSite

  • Бизнес оценка: (3, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 236
  • Сообщений: 555
  • Карма: 3
    • Просмотр профиля
    • Удаление вирусов на сайте с гарантией

Оффлайн ProtectYourSite

  • Ветеран
  • *****
Re: правильный robots.txt для joomla
« Ответ #16 : 04-12-2016, 19:43:03 »
Цитировать
Allow: *.css
Allow: *.js
Не всегда может работать из-за приоритетов.
Начиная с какой-то версии джумла 3 файл robots.txt уже не блокирует шаблоны и медиафайлы, немногие просто обновляют строки.
Лично моё мнение, ненужные страницы должны отдавать сами плохой ответ сервера, а не запрещать в robots.txt

Оффлайн badhit

  • Модератор
  • Бизнес оценка: (0)
  • *****
  • СПАСИБО: 201
  • Сообщений: 417
  • Карма: 19
  • Пол: Мужской
    • Просмотр профиля
    • Проект "В поисках Истины"

Оффлайн badhit

  • Модератор
  • *****
Re: правильный robots.txt для joomla
« Ответ #17 : 04-12-2016, 23:48:03 »
Не всегда может работать из-за приоритетов.
Потому и пишу вначале, и только для Гуглабота. В других интерпретациях не работало у меня, а этот способ вроде как, если и не 100%, то около того.

Начиная с какой-то версии джумла 3 файл robots.txt уже не блокирует шаблоны и медиафайлы, немногие просто обновляют строки.
Да фиг знает, какие ещё скрипты могут понадобится гуглу, функционал может быть разношёрстный на каждом сайте, потому, нежели открывать отдельные папки, универсальнее будет тупо разрешить стили и скрипты. Разве нет?
Пробуди в себе исследователя - "В поисках Истины".
Хостинг alynx.net лучший хостинг по соотношению цена/качество  :-X


 

Похожие темы

  Тема / Автор Ответов Последний ответ
22 Ответов
7814 Просмотров
Последний ответ 05-07-2012, 17:23:47
от Elmo
17 Ответов
5685 Просмотров
Последний ответ 28-02-2012, 17:09:12
от Ametist
7 Ответов
3644 Просмотров
Последний ответ 10-03-2016, 22:34:25
от badhit
43 Ответов
8373 Просмотров
Последний ответ 17-12-2013, 22:24:56
от Nikita214
3 Ответов
906 Просмотров
Последний ответ 10-06-2016, 18:49:07
от sigma