Нужн6а срочная помощь с robots.txt

Автор Тема: Нужн6а срочная помощь с robots.txt  (Прочитано 1450 раз)

Оффлайн 10pikАвтор темы

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 6
  • Сообщений: 261
  • Карма: 1
  • Пол: Мужской
    • Просмотр профиля
    • Большой сборник программ

Оффлайн 10pikАвтор темы

  • Старожил
  • ****
Всем привет. У меня такая проблема. Вебмастер меня уведомил о том, что роботс запрещает индексацию всех страниц сайта. Этим файлом я до этого не особо занимался, т.к. хватало другой работы и откладывал на потом. Ну а тут коль предупредили- значит нужно реагировать. Я сразу задумался о том, что произошло, ведь сайту уже больше года и он хорошо проиндексирован, а потом я вспомнил, что 2 недели назад я поменял главную страницу. Скорее всего это все взаимосвязано. Сам вопрос таков: Какая именно строка в роботс запрещает индексацию сайта? На мой взгляд- это строка /index.php?*, но т.к. я не уверен пишу сюда. Что все таки не так?

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /*?sl*
Disallow: /index.php?*
Disallow: /20*
Disallow: *.pdf$
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*rss.html
Disallow: /*atom.html
Host: http://fenix-sport.ru
Crawl-delay: 2#


Оффлайн bat

  • Бизнес оценка: (3, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 248
  • Сообщений: 915
  • Карма: 32
  • Пол: Мужской
  • было бы че...
    • Просмотр профиля
    • Развлекательный портал 2Cool.ru

Оффлайн bat

  • Ветеран
  • *****
Re: Нужн6а срочная помощь с robots.txt
« Ответ #1 : 15-07-2013, 01:10:27 »
Всем привет. У меня такая проблема. Вебмастер меня уведомил о том, что роботс запрещает индексацию всех страниц сайта.
Сторонний человек? Что за вебмастер? Папку installation вообще не положено оставлять.
Почему robots только для яши?
зачем пауку назначать время?
зачем от паука скрывать доступ к rss и прочим данным, которые показывают инфу?
Host пишется без http://

Оффлайн 10pikАвтор темы

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 6
  • Сообщений: 261
  • Карма: 1
  • Пол: Мужской
    • Просмотр профиля
    • Большой сборник программ

Оффлайн 10pikАвтор темы

  • Старожил
  • ****
Re: Нужн6а срочная помощь с robots.txt
« Ответ #2 : 15-07-2013, 02:32:33 »
Сторонний человек? Что за вебмастер?

Нет же. Яндекс вебмастер.
Почему robots только для яши?
Это не полный роботс. Я выложил только для яши т.к. яндекс вебмастер забил тревогу.

Папки инсталяцион нет. Она просто в роботс прописана

По поводу остальных пунктов я же писал, что роботсом еще не занимался. А то, что есть это стандартный. Так как с самой проблемой? Сайт то до сих пор от индексации закрыт.

Оффлайн Cyrus

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 271
  • Сообщений: 484
  • Карма: 47
  • Пол: Мужской
  • Награды SEO-специалист
    • Просмотр профиля

Оффлайн Cyrus

  • Старожил
  • ****
Re: Нужн6а срочная помощь с robots.txt
« Ответ #3 : 15-07-2013, 09:53:11 »
Не запрещает он индексацию всего сайта, проверьте тут сами http://webmaster.yandex.ru/robots.xml, я 10 страниц разных запихнул, все "разрешены"
Только Disallow: /index.php?* запрещает вашу карту сайта http://fenix-sport.ru/index.php?option=com_xmap&sitemap=1&view=xml, не думаю что тогда от неё толк есть.
Ну и корзина не закрыта, версии для печати тоже, много чего не закрыто, но сайт сам для индексации открыт.
« Последнее редактирование: 15-07-2013, 09:59:23 от Cyrus »

Оффлайн 10pikАвтор темы

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 6
  • Сообщений: 261
  • Карма: 1
  • Пол: Мужской
    • Просмотр профиля
    • Большой сборник программ

Оффлайн 10pikАвтор темы

  • Старожил
  • ****
Re: Нужн6а срочная помощь с robots.txt
« Ответ #4 : 15-07-2013, 15:06:20 »
Хм. Так, а почему тогда в вебмастере мне такое предупреждение появляется?


Оффлайн 10pikАвтор темы

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 6
  • Сообщений: 261
  • Карма: 1
  • Пол: Мужской
    • Просмотр профиля
    • Большой сборник программ

Оффлайн 10pikАвтор темы

  • Старожил
  • ****
Re: Нужн6а срочная помощь с robots.txt
« Ответ #5 : 20-07-2013, 02:50:44 »
Проблема сама исчезла. Яндекс, видимо, как всегда затупил. Предупреждение пропало и все нормально.


 

Похожие темы

  Тема / Автор Ответов Последний ответ
8 Ответов
2035 Просмотров
Последний ответ 26-11-2012, 11:39:28
от IndigoHollow
6 Ответов
1198 Просмотров
Последний ответ 14-10-2013, 21:26:39
от Impossible
8 Ответов
1037 Просмотров
Последний ответ 14-10-2014, 22:17:24
от ivan-mark
10 Ответов
2373 Просмотров
Последний ответ 25-06-2015, 18:19:51
от stalcker
30 Ответов
10759 Просмотров
Последний ответ 02-07-2015, 20:45:19
от vold57