Главная страница сайта исключена из индекса

[ingushlife]

Позовчера получил своему сайту www.cyber-club.su тиц 10 после этого посещение резко упало из 150 чел до 50 думал ерунда пройдет, а сегодня смотрю сообщение в я яндексе вебмастер
Внимание! Главная страница сайта исключена из индекса: HTTP-статус: Доступ к ресурсу запрещён (403) .

[KaZaK]

Внимание! Главная страница сайта исключена из индекса: HTTP-статус: Доступ к ресурсу запрещён (403) .

Братик рекомендую тебе исправить роботс.ткст

Сделать отдельно для трех Юсер агентов вот так:

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Host: www.cyber-club.su

User-agent: Googlebot
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Sitemap: У ТЕБЯ КАРТЫ САЙТА Я НЕ НАШЕЛ!!!!!!

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/


Создашь карту сайта обязательно например прогой Sitemap Generator

[GEORGY]

Братик рекомендую тебе исправить роботс.ткст

Сделать отдельно для трех Юсер агентов вот так:

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Host: www.cyber-club.su

перед HOST не должно быть пустой строки, так как эта деректива относится к ПС яндекс
гугл смотрит: думает раз пустая строка, значит дерективы для яндекса закончены, дальше видит директиву "host" и не понимает ее - ошибка. а дольше он может перестать обрабатывать следующие строки

а sitemap, надо отнести к разделу User-agent: * и тоже без пустой строки
директорию /images не стоит закрывать от индексации, как делает joomla по умолчанию, пусть и картинки твои индексируются 

короче я бы сделал вот так:

User-agent: *
Аllow: /images/
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Sitemap: У ТЕБЯ КАРТЫ САЙТА Я НЕ НАШЕЛ!!!!!!

User-agent: Yandex
Host: www.cyber-club.su

[ingushlife]

Спасибо Вам я уже разобрался!) Оказывается после обновления joomla до версии 2.5.7 robots.txt поменялся на стандартный)
Добавлено: 05-11-2012, 01:41:55

короче я бы сделал вот так:

User-agent: *
Аllow: /images/
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Sitemap: У ТЕБЯ КАРТЫ САЙТА Я НЕ НАШЕЛ!!!!!!

User-agent: Yandex
Host: www.cyber-club.su

Вы проверяли такой роботс для своего сайта?

Я свой поменял и он выглядит вот так

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*
Sitemap: http://kavkaz-edin.ru/sitemap.xml

User-agent: Yandex
Host: kavkaz-edin.ru

Так нормально?

[KaZaK]

перед HOST не должно быть пустой строки, так как эта деректива относится к ПС яндекс

Докажи что там не должно быть пустой строки

Пустая строка не учитывается.Потому что она пуста и там нет никаких указаний для робота пс и потому пустая строка игнорируется псами.Учитываются лишь строки с директивами которые указывают роботу что читать что не читать.

[GEORGY]

Докажи что там не должно быть пустой строки       Пустая строка не учитывается.Потому что она пуста и там нет никаких указаний для робота пс и потому пустая строка игнорируется псами.Учитываются лишь строки с директивами которые указывают роботу что читать что не читать.

читал об этом в рекомендациях по составлению robots.txt, где именно не помню, возможно и не верное это утверждение, но на всякий случай подстрaховываюсь....






Добавлено: 06-11-2012, 12:06:39

Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*

пожалуйста просвятите меня, что - за дерективы, за что они отвечают? спасибо

[ingushlife]

Disallow: /*mailto* - запрет индексирования "Отправить по почте" ( борьба с дублированием контента );
Disallow: /*start* - запрет индексирования "Пагинации": разбиения на страницы ( борьба с дублированием контента );
Disallow: /*print* - запрет индексирования станиц "Печати" ( борьба с дублированием контента );
Disallow: /*feed* - запрет индексирования "RSS - лент" ( борьба с дублированием контента );
Disallow: /*search* - запрет индексирования "Поиска" на сайте ( борьба с дублированием контента );
Disallow: /*users* - запрет индексирования "Регистрации" на сайте ( борьба с дублированием контента );

Для индексирования думаю их лучше закрыть