правильный ли робот

Автор Тема: правильный ли робот  (Прочитано 1633 раз)

Оффлайн akenfolАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 2
  • Сообщений: 7
  • Карма: 2
  • Пол: Мужской

Оффлайн akenfolАвтор темы

  • Дебютант
  • *
правильный ли робот
« : 09-07-2011, 06:44:14 »
Здравствуйте хотел бы у вас спросить как у меня дела обстоят с роботом на сайте http://r-torrent.ru/


Оффлайн KaZaK

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 294
  • Сообщений: 1471
  • Карма: 71
  • Пол: Мужской
  • Сына изучает SEO, мама довольна:DDD
  • Награды КМС поисковой оптимизации
    • Live stream dota 2

Оффлайн KaZaK

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 294
    • Сообщений: 1471
    • Карма: 71
    • Пол: Мужской
    • Сына изучает SEO, мама довольна:DDD
    • Награды КМС поисковой оптимизации
      • Live stream dota 2
Re: правильный ли робот
« Ответ #1 : 09-07-2011, 07:04:04 »
Вообще роботс пишется так:
User-Agent: *  Disallow: /a/  Disallow: /rss/  Disallow: /tags/  Disallow: /stat/  Disallow: /index/1  Disallow: /index/2  Disallow: /index/3  Disallow: /index/5  Disallow: /index/7  Disallow: /index/8  Disallow: /index/9  Disallow: /panel/  Disallow: /admin/  Disallow: /secure/  Disallow: /informer/  Disallow: /mchat  Disallow: /search  Allow: /

Host: ваш сайт без http://  Sitemap: http://адрес сайта/sitemap.xml

Я незнаком с вашим движком :o
В строке Disallow: /
пишете то что ненужно скачивать роботу

Оффлайн akenfolАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 2
  • Сообщений: 7
  • Карма: 2
  • Пол: Мужской

Оффлайн akenfolАвтор темы

  • Дебютант
  • *
Re: правильный ли робот
« Ответ #2 : 09-07-2011, 08:15:54 »
я исправил посмотри

Оффлайн KaZaK

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 294
  • Сообщений: 1471
  • Карма: 71
  • Пол: Мужской
  • Сына изучает SEO, мама довольна:DDD
  • Награды КМС поисковой оптимизации
    • Live stream dota 2

Оффлайн KaZaK

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 294
    • Сообщений: 1471
    • Карма: 71
    • Пол: Мужской
    • Сына изучает SEO, мама довольна:DDD
    • Награды КМС поисковой оптимизации
      • Live stream dota 2
Re: правильный ли робот
« Ответ #3 : 09-07-2011, 15:09:07 »
Вообще пишется так

User-agent: *
Disallow: /здесь то что запрещать к сканированию
Disallow: /

Host:
Sitemap:

Оффлайн akenfolАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 2
  • Сообщений: 7
  • Карма: 2
  • Пол: Мужской

Оффлайн akenfolАвтор темы

  • Дебютант
  • *
Re: правильный ли робот
« Ответ #4 : 09-07-2011, 16:34:10 »
я исправил посмотри

Что у меня не так что ли как я сделал?


Оффлайн Fess

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 68
  • Сообщений: 297
  • Карма: 28
  • Пол: Мужской

Оффлайн Fess

  • Старожил
  • ****
Re: правильный ли робот
« Ответ #5 : 09-07-2011, 23:07:20 »
Disallow: /
Это вообще запрещает к индексации сайт.

В вашем случае надо писать так примерно:

User-agent: *
Disallow: /admin/
Disallow: /search.php?*
Sitemap: http://r-torrent.ru/sitemap.xml


User-agent: Yandex
Disallow: /admin/
Disallow: /search.php?*
Sitemap: http://r-torrent.ru/sitemap.xml
Host: r-torrent.ru

Какой движок сайта? Времени просто нету на осмотр сайта и последующей корректировки роботса.

Оффлайн Ametist

  • Глобальный модератор
  • Бизнес оценка: (1, 100%)
  • *****
  • СПАСИБО: 2599
  • Сообщений: 3335
  • Карма: 404
  • Пол: Женский
  • Награды SEO-специалист Мастер поисковой оптимизации Более одной тысячи спасибо Отличный блог 2011 Почетный гражданин нашего форума

Оффлайн Ametist

  • Глобальный модератор
  • *****
Re: правильный ли робот
« Ответ #6 : 12-07-2011, 22:58:27 »
Вот это для форумов так же нормально

User-agent: Yandex
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html

А вот посмотрите на робот активного форума: http://mmgp.ru/robots.txt
« Последнее редактирование: 12-07-2011, 23:02:00 от Ametist »


 

Похожие темы

  Тема / Автор Ответов Последний ответ
7 Ответов
2535 Просмотров
Последний ответ 18-06-2011, 18:22:54
от myjobwebmed
5 Ответов
2504 Просмотров
Последний ответ 30-08-2011, 13:19:53
от Lovelaas
8 Ответов
2123 Просмотров
Последний ответ 14-11-2013, 06:30:48
от Smyga
0 Ответов
639 Просмотров
Последний ответ 11-11-2015, 15:52:09
от Clever
5 Ответов
1263 Просмотров
Последний ответ 18-03-2016, 15:16:41
от Elfa