Главная страница сайта исключена из индекса

Автор Тема: Главная страница сайта исключена из индекса  (Прочитано 2565 раз)

Оффлайн ingushlifeАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 3
  • Сообщений: 115
  • Карма: 1
  • Пол: Мужской
  • Cyber-Sport.su
    • Просмотр профиля
    • Игровой портал cs 1.6

Оффлайн ingushlifeАвтор темы

  • Постоялец
  • ***
1
Позовчера получил своему сайту www.cyber-club.su тиц 10 после этого посещение резко упало из 150 чел до 50 думал ерунда пройдет, а сегодня смотрю сообщение в я яндексе вебмастер
Внимание! Главная страница сайта исключена из индекса: HTTP-статус: Доступ к ресурсу запрещён (403) .
Cyber-Sport.su


Оффлайн KaZaK

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 294
  • Сообщений: 1471
  • Карма: 71
  • Пол: Мужской
  • Сына изучает SEO, мама довольна:DDD
  • Награды КМС поисковой оптимизации
    • Просмотр профиля
    • Live stream dota 2

Оффлайн KaZaK

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 294
    • Сообщений: 1471
    • Карма: 71
    • Пол: Мужской
    • Сына изучает SEO, мама довольна:DDD
    • Награды КМС поисковой оптимизации
      • Просмотр профиля
      • Live stream dota 2
Цитировать
Внимание! Главная страница сайта исключена из индекса: HTTP-статус: Доступ к ресурсу запрещён (403) .

Братик рекомендую тебе исправить роботс.ткст

Сделать отдельно для трех Юсер агентов вот так:

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Host: www.cyber-club.su

User-agent: Googlebot
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Sitemap: У ТЕБЯ КАРТЫ САЙТА Я НЕ НАШЕЛ!!!!!!

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/


Создашь карту сайта обязательно например прогой Sitemap Generator

Оффлайн GEORGY

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 29
  • Сообщений: 400
  • Карма: 0
    • Просмотр профиля

Оффлайн GEORGY

  • Старожил
  • ****
Братик рекомендую тебе исправить роботс.ткст

Сделать отдельно для трех Юсер агентов вот так:

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Host: www.cyber-club.su

перед HOST не должно быть пустой строки, так как эта деректива относится к ПС яндекс
гугл смотрит: думает раз пустая строка, значит дерективы для яндекса закончены, дальше видит директиву "host" и не понимает ее - ошибка. а дольше он может перестать обрабатывать следующие строки

а sitemap, надо отнести к разделу User-agent: * и тоже без пустой строки
директорию /images не стоит закрывать от индексации, как делает joomla по умолчанию, пусть и картинки твои индексируются  :)

короче я бы сделал вот так:

User-agent: *
Аllow: /images/
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Sitemap: У ТЕБЯ КАРТЫ САЙТА Я НЕ НАШЕЛ!!!!!!

User-agent: Yandex
Host: www.cyber-club.su
« Последнее редактирование: 04-11-2012, 23:59:07 от GEORGY »

Оффлайн ingushlifeАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 3
  • Сообщений: 115
  • Карма: 1
  • Пол: Мужской
  • Cyber-Sport.su
    • Просмотр профиля
    • Игровой портал cs 1.6

Оффлайн ingushlifeАвтор темы

  • Постоялец
  • ***
Спасибо Вам я уже разобрался!) Оказывается после обновления joomla до версии 2.5.7 robots.txt поменялся на стандартный)

Добавлено: 05-11-2012, 01:41:55


короче я бы сделал вот так:

User-agent: *
Аllow: /images/
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Sitemap: У ТЕБЯ КАРТЫ САЙТА Я НЕ НАШЕЛ!!!!!!

User-agent: Yandex
Host: www.cyber-club.su

Вы проверяли такой роботс для своего сайта?

Я свой поменял и он выглядит вот так

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*
Sitemap: http://kavkaz-edin.ru/sitemap.xml

User-agent: Yandex
Host: kavkaz-edin.ru

Так нормально?
« Последнее редактирование: 05-11-2012, 01:41:55 от ingushlife »
Cyber-Sport.su

Оффлайн KaZaK

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 294
  • Сообщений: 1471
  • Карма: 71
  • Пол: Мужской
  • Сына изучает SEO, мама довольна:DDD
  • Награды КМС поисковой оптимизации
    • Просмотр профиля
    • Live stream dota 2

Оффлайн KaZaK

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 294
    • Сообщений: 1471
    • Карма: 71
    • Пол: Мужской
    • Сына изучает SEO, мама довольна:DDD
    • Награды КМС поисковой оптимизации
      • Просмотр профиля
      • Live stream dota 2
Цитировать
перед HOST не должно быть пустой строки, так как эта деректива относится к ПС яндекс

Докажи что там не должно быть пустой строки :)) :)) :)) :)) :)) :)) :))

Пустая строка не учитывается.Потому что она пуста и там нет никаких указаний для робота пс и потому пустая строка игнорируется псами.Учитываются лишь строки с директивами которые указывают роботу что читать что не читать.


Оффлайн GEORGY

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 29
  • Сообщений: 400
  • Карма: 0
    • Просмотр профиля

Оффлайн GEORGY

  • Старожил
  • ****
Докажи что там не должно быть пустой строки       Пустая строка не учитывается.Потому что она пуста и там нет никаких указаний для робота пс и потому пустая строка игнорируется псами.Учитываются лишь строки с директивами которые указывают роботу что читать что не читать.
читал об этом в рекомендациях по составлению robots.txt, где именно не помню, возможно и не верное это утверждение, но на всякий случай подстрaховываюсь....







Добавлено: 06-11-2012, 12:06:39

Disallow: /*mailto*
Disallow: /*start*
Disallow: /*print*
Disallow: /*feed*
Disallow: /*search*
Disallow: /*users*

пожалуйста просвятите меня, что - за дерективы, за что они отвечают? спасибо

Оффлайн ingushlifeАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 3
  • Сообщений: 115
  • Карма: 1
  • Пол: Мужской
  • Cyber-Sport.su
    • Просмотр профиля
    • Игровой портал cs 1.6

Оффлайн ingushlifeАвтор темы

  • Постоялец
  • ***
Disallow: /*mailto* - запрет индексирования "Отправить по почте" ( борьба с дублированием контента );
Disallow: /*start* - запрет индексирования "Пагинации": разбиения на страницы ( борьба с дублированием контента );
Disallow: /*print* - запрет индексирования станиц "Печати" ( борьба с дублированием контента );
Disallow: /*feed* - запрет индексирования "RSS - лент" ( борьба с дублированием контента );
Disallow: /*search* - запрет индексирования "Поиска" на сайте ( борьба с дублированием контента );
Disallow: /*users* - запрет индексирования "Регистрации" на сайте ( борьба с дублированием контента );

Для индексирования думаю их лучше закрыть
Cyber-Sport.su


 

Похожие темы

  Тема / Автор Ответов Последний ответ
12 Ответов
10947 Просмотров
Последний ответ 06-11-2011, 08:46:20
от SeoBrabus
0 Ответов
773 Просмотров
Последний ответ 28-09-2015, 22:27:48
от Pri30
5 Ответов
1383 Просмотров
Последний ответ 10-12-2015, 11:53:01
от john_j
13 Ответов
1393 Просмотров
Последний ответ 25-10-2016, 17:28:53
от Fullf
4 Ответов
1338 Просмотров
Последний ответ 25-05-2017, 17:27:34
от casualpasser-by