настройка robots.txt

Автор Тема: настройка robots.txt  (Прочитано 2277 раз)

Оффлайн Roman ShvetsАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 45
  • Сообщений: 140
  • Карма: 2
  • Пол: Мужской
    • Просмотр профиля
    • госбилет.рф

Оффлайн Roman ShvetsАвтор темы

  • Постоялец
  • ***
настройка robots.txt
« : 04-02-2012, 14:13:55 »
Всем добрый день.
Сформировал два файла robots.txt , подскажите пожалуйста какой из них лучше подойдет для сайта gogoru.ru, и нужно ли там что то поправить еще? На сайте сейчас находится второй вариант. У меня вызывают недоверие там две строчки ,
Disallow: /avia/*?*
Disallow: /avia/*?
Мне  лучше убрать эти строчки в моем варианте, или вообще использовать первый вариант?
Помогите пожалуйста правильно все сделать.
Спасибо заранее.

   №1
User-agent: *
Disallow: /avia/wp-admin
Disallow: /results/
Disallow: /avia/wp-includes
Disallow: /avia/wp-content/plugins
Disallow: /avia/wp-content/cache
Disallow: /avia/xmlrpc.php
Disallow: /avia/wp-content/uploads
Disallow: /avia/wp-content/themes
Disallow: /avia/trackback/
Disallow: /avia/tag/
Disallow: /avia/feed/
Disallow: /avia/*/*/feed/*/
Disallow: /avia/*/feed
Disallow: /avia/*/*/feed
Disallow: /avia/*?*
Disallow: /avia/?feed=
Disallow: /avia/?s=
Sitemap: http://gogoru.ru/avia/sitemap.xml


User-agent: Yandex
Disallow: /avia/wp-admin
Disallow: /results/
Disallow: /avia/wp-includes
Disallow: /avia/xmlrpc.php
Disallow: /avia/wp-content/uploads
Disallow: /avia/wp-content/plugins
Disallow: /avia/wp-content/cache
Disallow: /avia/wp-content/themes
Disallow: /avia/trackback/
Disallow: /avia/tag/
Disallow: /avia/feed/
Disallow: /avia/*/*/feed/*/
Disallow: /avia/*/feed
Disallow: /avia/*/*/feed
Disallow: /avia/?feed=
Disallow: /avia/*?*
Disallow: /avia/?s=
Host: gogoru.ru

  №2
User-agent: *
Disallow: /avia/wp-login.php
Disallow: /avia/wp-register.php
Disallow: /avia/webstat/
Disallow: /avia/feed/
Disallow: /avia/trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /avia/*?*
Disallow: /avia/*?
Disallow: /avia/category/*/*
Disallow: /avia/wp-content/
Disallow: /avia/wp-admin/
Disallow: /avia/wp-includes/
Disallow: /avia/comments
Disallow: /results/

User-agent: Yandex
Disallow: /avia/wp-login.php
Disallow: /avia/wp-register.php
Disallow: /avia/webstat/
Disallow: /avia/feed/
Disallow: /avia/trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /avia/*?*
Disallow: /avia/*?
Disallow: /category/*/*
Disallow: /avia/wp-content/
Disallow: /avia/wp-admin/
Disallow: /avia/wp-includes/
Disallow: /avia/comments
Disallow: /results/
Host: gogoru.ru
Sitemap:  http://gogoru.ru/avia/sitemap.xml
Вы найдете на https://госбилет.рф/ дешёвые авиабилеты.


Оффлайн NeSeo

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 208
  • Сообщений: 737
  • Карма: 41
  • Пол: Мужской
  • VashShop.com
    • Просмотр профиля
    • Регистрация доменных имён

Оффлайн NeSeo

  • Ветеран
  • *****
Re: настройка robots.txt
« Ответ #1 : 04-02-2012, 14:38:19 »
Вы хотя бы понимаете, для чего этот файл нужен?

Для чего например эта строчка http://gogoru.ru/avia/sitemap.xml, если карты нет?

Добавлено: 04-02-2012, 15:02:14

Посмотртите эту тему http://www.sbup.com/seo-forum/seo_video/wordpress_seo___fail_robots_txt_/
« Последнее редактирование: 04-02-2012, 15:02:14 от NeSeo »
С уважением, Александр.
Биржа купли-продажи сайтов

Оффлайн Roman ShvetsАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 45
  • Сообщений: 140
  • Карма: 2
  • Пол: Мужской
    • Просмотр профиля
    • госбилет.рф

Оффлайн Roman ShvetsАвтор темы

  • Постоялец
  • ***
Re: настройка robots.txt
« Ответ #2 : 04-02-2012, 16:19:15 »
Добрый день, для чего этот файл нужен я прекрасно понимаю, иначе б не парился по поводу того как его лучше заполнить. Спасибо за ссылку, но если вы внимательно посмотрите на оба варианта, то увидите, что второй вариан именно с блога Глобатора , а первый с блога http://ktonanovenkogo.ru/ . Только я внес не большие изменения.
По поводу карты  xml , ее настраиваем сейчас, планируем использовать ( плагин Google xml sitemap)

И все таки, подскажите пожалуйста уважаемые форумчане , какой из вариантов более удачный?
Спасибо.
Вы найдете на https://госбилет.рф/ дешёвые авиабилеты.

Оффлайн nemetc

  • Бизнес оценка: (2, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 573
  • Сообщений: 1234
  • Карма: 62
  • Пол: Мужской
  • заходи если что...
  • Награды КМС поисковой оптимизации
    • Просмотр профиля

Оффлайн nemetc

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (2, 100%)
    • СПАСИБО: 573
    • Сообщений: 1234
    • Карма: 62
    • Пол: Мужской
    • заходи если что...
    • Награды КМС поисковой оптимизации
      • Просмотр профиля
Re: настройка robots.txt
« Ответ #3 : 04-02-2012, 17:41:50 »
оставляйте вариант тот который сейчас, потому что на данный момент у Вас дублей нету.
интересно только что вашего сайта нету в индексе яши, а в гугле целых 333 страницы.
 

Оффлайн Roman ShvetsАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 45
  • Сообщений: 140
  • Карма: 2
  • Пол: Мужской
    • Просмотр профиля
    • госбилет.рф

Оффлайн Roman ShvetsАвтор темы

  • Постоялец
  • ***
Re: настройка robots.txt
« Ответ #4 : 04-02-2012, 22:45:10 »
Спасибо за совет.
А вот по поводу яши и гоши я сейчас как раз и разбираюсь, вообще понять не могу, как это так получилось, ведь страниц то на сайте пока несколько штук, допиливаем навигацию и начну совсем уже скоро добавлять странички.В яндекс вебмастер сайт добавил в ноябре. Наверное яша ждет контент.Надеюсь только на это.
Откуда мог гоша взять столько страниц понять не могу.Единственное , это то что до недавнего времени у меня были результаты поиска открыты, а сейчас я их запретил Disallow: /results/  .Посмотрю как сейчас будет себя вести гоша.
И всетаки как быть вот с этими строчками и что они обозначают?
Disallow: /avia/*?*
Disallow: /avia/*?

Спасибо
Вы найдете на https://госбилет.рф/ дешёвые авиабилеты.


Оффлайн ewdokimow

  • Бизнес оценка: (0)
  • Мастер
  • *****
  • СПАСИБО: 1483
  • Сообщений: 5848
  • Карма: 143
  • Пол: Мужской
  • Евдокимов
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации
    • Просмотр профиля
    • Книги

Оффлайн ewdokimow

  • Мастер
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 1483
    • Сообщений: 5848
    • Карма: 143
    • Пол: Мужской
    • Евдокимов
    • Награды Более одной тысячи спасибо КМС поисковой оптимизации
      • Просмотр профиля
      • Книги
Re: настройка robots.txt
« Ответ #5 : 04-02-2012, 22:50:58 »
RomanG, проверяйте правила робота в вебмастере Яндекса(сразу обновляет) или Гугла.
Думаю можете оставить такое правило:
Disallow: *?*
Disallow: *?

Где есть в url знак вопроса - запрещено к индексации. 
Ручная ковка металлов в художественном исполнении  для коттеджей в Истре

Оффлайн Roman ShvetsАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 45
  • Сообщений: 140
  • Карма: 2
  • Пол: Мужской
    • Просмотр профиля
    • госбилет.рф

Оффлайн Roman ShvetsАвтор темы

  • Постоялец
  • ***
Re: настройка robots.txt
« Ответ #6 : 05-02-2012, 00:19:29 »
Всем спасибо.

Добавлено: 05-02-2012, 12:28:37

Всем добого дня.У меня еще в robots.txt прописано такое правило:
Disallow: /avia/wp-content/       это правило запрещает индексировать весь мой контент, которым я буду скоро наполнять сайт?

Нужно ли мне еще добавить вот такое правило?
Allow: /wp-content/uploads/

Или лучше вместо Disallow: /avia/wp-content/   , прописать вот такие строки:
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/uploads
Disallow: /wp-content/themes
Подскажите пожалуйста, а то совсем запутался.

Добавлено: 05-02-2012, 13:20:10

А еще гоша мне пишет вот такую вещь. Приложил скрин.

Добавлено: 05-02-2012, 13:28:43

Я так понимаю здесь дубли моих страничек? Верно?
Или нет ?
 
« Последнее редактирование: 05-02-2012, 13:28:43 от RomanG »
Вы найдете на https://госбилет.рф/ дешёвые авиабилеты.

Оффлайн Roman ShvetsАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 45
  • Сообщений: 140
  • Карма: 2
  • Пол: Мужской
    • Просмотр профиля
    • госбилет.рф

Оффлайн Roman ShvetsАвтор темы

  • Постоялец
  • ***
Re: настройка robots.txt
« Ответ #7 : 06-02-2012, 12:27:18 »
Вы хотя бы понимаете, для чего этот файл нужен?

Для чего например эта строчка http://gogoru.ru/avia/sitemap.xml, если карты нет?
Карта сайта есть http://gogoru.ru/avia/sitemap.xml  смотрите скрин



Добавлено: 06-02-2012, 12:27:54

А вот и скрин.

Добавлено: 06-02-2012, 12:47:30

Гоша наиндексировал уже почти 500 страниц,
Как его остановить?
Disallow: /results/ в файле robots  прописал, что еще посоветуете сделать, что бы гоша индексировал только то, что мне нужно.

По sitemap.xml у меня есть вопрос
Вордпресс у нас установлен по адресу http://gogoru.ru/avia   , и карту сайта положили сюда http://gogoru.ru/avia/sitemap.xml  , я правильно сделал или полюбому нужно карту кидать на http://gogoru.ru/sitemap.xml

Спасибо
« Последнее редактирование: 06-02-2012, 12:47:30 от RomanG »
Вы найдете на https://госбилет.рф/ дешёвые авиабилеты.


 

Похожие темы

  Тема / Автор Ответов Последний ответ
2 Ответов
3351 Просмотров
Последний ответ 12-05-2011, 13:07:27
от ruslan_fd
0 Ответов
1339 Просмотров
Последний ответ 20-10-2011, 19:56:16
от Caprican
1 Ответов
1142 Просмотров
Последний ответ 17-12-2014, 00:01:13
от ezhabchik
17 Ответов
2023 Просмотров
Последний ответ 25-11-2015, 14:49:45
от alexburn
5 Ответов
1278 Просмотров
Последний ответ 15-08-2018, 23:54:45
от vold57