Какой robots.txt правильней?

Автор Тема: Какой robots.txt правильней?  (Прочитано 2530 раз)

Оффлайн slawa100Автор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 17
  • Сообщений: 86
  • Карма: 1
  • Пол: Мужской
  • Мастер
    • Просмотр профиля
    • Бетонные лестницы в Буче

Оффлайн slawa100Автор темы

  • Пользователь
  • **
Какой robots.txt правильней?
« : 11-05-2016, 00:36:01 »
Здравствуйте, возникла проблема, в поисках правильного robots.txt для своего сайта на вордпресс нашел несколько вариантов, не могу разобраться какой все же правильный, вот два варианта robots.txt - будьте добры, подскажите какой из них правильней, заранее благодарю.

Вариант первый:

1). User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
 
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: .......
 
Sitemap: http://......./sitemap.xml.gz
Sitemap: http://......./sitemap.xml


Вариант второй:


2). User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: .......
Sitemap: http://........./sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/


Оффлайн SeoGopnik

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 4
  • Сообщений: 20
  • Карма: 0
  • Пол: Мужской
    • Просмотр профиля
    • Трудовые будни SEO оптимизатора

Оффлайн SeoGopnik

  • Рекрут
  • *
Re: Какой robots.txt правильней?
« Ответ #1 : 11-05-2016, 08:27:07 »
Лично мне первый вариант кажется более правильным. Хотя я бы не разделял роботов, написано правило для всех, а потом еще раз для яндекса. А так вполне хороший вариант.
Видеокурс о том как создать букс, переходи по ссылке и качай бесплатно.

Оффлайн alexburn

  • Бизнес оценка: (1, 100%)
  • КМС
  • *****
  • СПАСИБО: 1056
  • Сообщений: 3375
  • Карма: 72
  • Пол: Мужской
  • Нужна прога для компа?
    • Просмотр профиля
    • Прикладные программы на заказ

Оффлайн alexburn

  • КМС
  • *****
  • Доп. информация
    • Бизнес оценка: (1, 100%)
    • СПАСИБО: 1056
    • Сообщений: 3375
    • Карма: 72
    • Пол: Мужской
    • Нужна прога для компа?
      • Просмотр профиля
      • Прикладные программы на заказ
Re: Какой robots.txt правильней?
« Ответ #2 : 11-05-2016, 08:59:48 »
Не знаток WP, но интересно узнать, для чего вот такие строки? Вернее не переизбыток ли "*" ?
Disallow: */*/feed/*/
Disallow: */feed


Оффлайн SeoGopnik

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 4
  • Сообщений: 20
  • Карма: 0
  • Пол: Мужской
    • Просмотр профиля
    • Трудовые будни SEO оптимизатора

Оффлайн SeoGopnik

  • Рекрут
  • *
Re: Какой robots.txt правильней?
« Ответ #3 : 11-05-2016, 09:00:52 »
Не знаток WP, но интересно узнать, для чего вот такие строки? Вернее не переизбыток ли "*" ?
RSS ленту выкинуть из индекса.
Видеокурс о том как создать букс, переходи по ссылке и качай бесплатно.

Оффлайн alexburn

  • Бизнес оценка: (1, 100%)
  • КМС
  • *****
  • СПАСИБО: 1056
  • Сообщений: 3375
  • Карма: 72
  • Пол: Мужской
  • Нужна прога для компа?
    • Просмотр профиля
    • Прикладные программы на заказ

Оффлайн alexburn

  • КМС
  • *****
  • Доп. информация
    • Бизнес оценка: (1, 100%)
    • СПАСИБО: 1056
    • Сообщений: 3375
    • Карма: 72
    • Пол: Мужской
    • Нужна прога для компа?
      • Просмотр профиля
      • Прикладные программы на заказ
Re: Какой robots.txt правильней?
« Ответ #4 : 11-05-2016, 09:24:49 »
А разве такого не достаточно?
Disallow: */feed/*


Оффлайн SeoGopnik

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 4
  • Сообщений: 20
  • Карма: 0
  • Пол: Мужской
    • Просмотр профиля
    • Трудовые будни SEO оптимизатора

Оффлайн SeoGopnik

  • Рекрут
  • *
Re: Какой robots.txt правильней?
« Ответ #5 : 11-05-2016, 09:30:16 »
А разве такого не достаточно?
Disallow: */feed/*
Да как бы должно хватить, но видимо автор решения (я так понимаю robots найдены в интернете), решил подстрaховаться. По сути ничего же страшного не будет за дублирование запрещающих тегов в разной вариации.
Видеокурс о том как создать букс, переходи по ссылке и качай бесплатно.

Онлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5130
  • Сообщений: 7035
  • Карма: 281
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • Просмотр профиля
    • SEO, интернет-маркетинг, сайостроение

Онлайн vold57

  • Мастер
  • *****
Re: Какой robots.txt правильней?
« Ответ #6 : 11-05-2016, 09:50:20 »
Да как бы должно хватить, но видимо автор решения (я так понимаю robots найдены в интернете), решил подстрaховаться. По сути ничего же страшного не будет за дублирование запрещающих тегов в разной вариации.
Подстрaховываться нужно тут - https://webmaster.yandex.ru/robots.xml
Но страшного ничего не будет.

Оффлайн slawa100Автор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 17
  • Сообщений: 86
  • Карма: 1
  • Пол: Мужской
  • Мастер
    • Просмотр профиля
    • Бетонные лестницы в Буче

Оффлайн slawa100Автор темы

  • Пользователь
  • **
Re: Какой robots.txt правильней?
« Ответ #7 : 11-05-2016, 11:32:11 »
Большое спасибо за помощь, значит первый вариант правильный.

Оффлайн slawa100Автор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 17
  • Сообщений: 86
  • Карма: 1
  • Пол: Мужской
  • Мастер
    • Просмотр профиля
    • Бетонные лестницы в Буче

Оффлайн slawa100Автор темы

  • Пользователь
  • **
Re: Какой robots.txt правильней?
« Ответ #8 : 13-05-2016, 22:38:59 »
То что первый вариант robots.txt правильней - это факт, я его закачал к себе на хостинг, всё в порядке, никаких ошибок.
Но вот причина по которой я поднял этот вопрос: уже пятое обновление поисковой базы яндекса дождался, а в поиске всего одна станица - статья, на сайте при этом 60 уникальных статей. После добавления сайта в яндекс прошло 5 обновлений, в гугл всё в порядке, маил пишет что не может установить соединение с сервером, с майлом понятно - я не удивлён, но яндекс это интересно. В гугле уже 90 станиц в индексе, там рубрики-подрубрики и статьи, а у яндекса всего одна и так она "висит" уже 4 обновления. Может кто сталкивался с подобным, поделитесь опытом, стоит ли волноваться?


Оффлайн alexburn

  • Бизнес оценка: (1, 100%)
  • КМС
  • *****
  • СПАСИБО: 1056
  • Сообщений: 3375
  • Карма: 72
  • Пол: Мужской
  • Нужна прога для компа?
    • Просмотр профиля
    • Прикладные программы на заказ

Оффлайн alexburn

  • КМС
  • *****
  • Доп. информация
    • Бизнес оценка: (1, 100%)
    • СПАСИБО: 1056
    • Сообщений: 3375
    • Карма: 72
    • Пол: Мужской
    • Нужна прога для компа?
      • Просмотр профиля
      • Прикладные программы на заказ
Re: Какой robots.txt правильней?
« Ответ #9 : 15-05-2016, 11:01:51 »
Проверьте в веб-мастере гугла доступность страниц в robots.txt (не помню, есть ли такое у яндекса). Если в инструкциях файла нет проблем, гугл их подсвечивает зеленым. Если инструкции для ПС одинаковы и гугл их пропускает - значит пока не настало время у яндекса. Попробуйте прогнать не индексированные страницы через какие-нибудь социалки, либо сообщите явно Яшке о новых страницах.


 

Похожие темы

  Тема / Автор Ответов Последний ответ
Robots для DLE

Автор voldemar « 1 2 » DLE

17 Ответов
7176 Просмотров
Последний ответ 03-06-2012, 22:10:49
от eqoist
2 Ответов
1550 Просмотров
Последний ответ 09-10-2012, 07:59:31
от chebj
2 Ответов
1460 Просмотров
Последний ответ 22-11-2012, 11:10:24
от akkauntmako
4 Ответов
6685 Просмотров
Последний ответ 30-09-2013, 09:30:58
от Alexluxe
14 Ответов
3358 Просмотров
Последний ответ 29-10-2013, 17:15:19
от pavel_1982