Файл robots.txt

Автор Тема: Файл robots.txt  (Прочитано 790 раз)

Оффлайн kain114Автор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 14
  • Сообщений: 155
  • Карма: -2
  • Пол: Мужской
    • Все о настройке и ремонте компьютеров

Оффлайн kain114Автор темы

  • Постоялец
  • ***
Файл robots.txt
« : 31-08-2016, 08:49:56 »
Добрый день форумчане! Подскажите пожалуйста (после оценки профессиональным взглядом) правильно ли написан файл роботс на моем сайте? Адрес сайта в подписи! Заранее спасибо)
Все о ремонте и настройке компьютеров - http://pomkomp.ru


Оффлайн Google-master

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 177
  • Сообщений: 278
  • Карма: 61
  • Пол: Мужской

Оффлайн Google-master

  • Старожил
  • ****
Re: Файл robots.txt
« Ответ #1 : 31-08-2016, 10:06:11 »
Лично я использую такой robots:

User-agent: Yandex
Disallow: */*/feed/*/
Disallow: */*/trackback
Disallow: */comment-page-*
Disallow: */comments
Disallow: */feed
Disallow: */karta-bloga/
Disallow: */page/
Disallow: */trackback
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Disallow: /author
Disallow: /category/*/*
Disallow: /cgi-bin
Disallow: /cgi-sys
Disallow: /comments
Disallow: /page
Disallow: /search
Disallow: /tag
Disallow: /trackback
Disallow: /webstat
Disallow: /wp-admin
Disallow: /wp-comments
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /wp-includes
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-trackback
Disallow: /xmlrpc.php
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.css
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.css
Allow: /wp-content/uploads/*.js

Host: pomkomp.ru


User-agent: *
Disallow: */*/feed/*/
Disallow: */*/trackback
Disallow: */comment-page-*
Disallow: */comments
Disallow: */feed
Disallow: */karta-bloga/
Disallow: */page/
Disallow: */trackback
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Disallow: /author
Disallow: /category/*/*
Disallow: /cgi-bin
Disallow: /cgi-sys
Disallow: /comments
Disallow: /page
Disallow: /search
Disallow: /tag
Disallow: /trackback
Disallow: /webstat
Disallow: /wp-admin
Disallow: /wp-comments
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /wp-includes
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-trackback
Disallow: /xmlrpc.php
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.css
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.css
Allow: /wp-content/uploads/*.js

Sitemap: http://pomkomp.ru/sitemap.xml


Он громоздкий, зато с ним никогда на дубли страниц не жаловался.
САМЫЙ БЫСТРЫЙ ХОСТИНГ! Промокод на скидку 10%: anton-seo

Оффлайн kain114Автор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 14
  • Сообщений: 155
  • Карма: -2
  • Пол: Мужской
    • Все о настройке и ремонте компьютеров

Оффлайн kain114Автор темы

  • Постоялец
  • ***
Re: Файл robots.txt
« Ответ #2 : 31-08-2016, 10:09:20 »
Он громоздкий, зато с ним никогда на дубли страниц не жаловался.
Я так смотрю, что вы закрываете от индексации комментарии? Для чего?
И по всей видимости на этом сайте есть поля регистрации и поле входа, чего у меня в принципе нет)
Все о ремонте и настройке компьютеров - http://pomkomp.ru

Оффлайн Google-master

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 177
  • Сообщений: 278
  • Карма: 61
  • Пол: Мужской

Оффлайн Google-master

  • Старожил
  • ****
Re: Файл robots.txt
« Ответ #3 : 31-08-2016, 10:13:17 »
Я так смотрю, что вы закрываете от индексации комментарии? Для чего?
И по всей видимости на этом сайте есть поля регистрации и поле входа, чего у меня в принципе нет)
Комментарии закрываю, чтобы дублей не было. Текст самих комментов без каких-либо проблем индексируется должным образом.
Попробуйте открыть свой сайт по адресам  /wp-login.php и  /wp-register.php (перед / домен). Удивитесь и поймёте почему я (и множество пользователей блогов на wp) их закрываю.

Добавлено: 31-08-2016, 10:14:20

Эх, всегда завидовал зарубежным сайтам   ;D  У них роботс просто сказочный, обычно из нескольких строк состоит. Вот пример одного знаменитого сайта на WP: http://www.bbcamerica.com/robots.txt
САМЫЙ БЫСТРЫЙ ХОСТИНГ! Промокод на скидку 10%: anton-seo

Оффлайн kain114Автор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 14
  • Сообщений: 155
  • Карма: -2
  • Пол: Мужской
    • Все о настройке и ремонте компьютеров

Оффлайн kain114Автор темы

  • Постоялец
  • ***
Re: Файл robots.txt
« Ответ #4 : 31-08-2016, 10:16:41 »
Попробуйте открыть свой сайт по адресам  /wp-login.php и  /wp-register.php (перед / домен)
А чем это может грозить касаемо поисковых систем?
Все о ремонте и настройке компьютеров - http://pomkomp.ru


Оффлайн Google-master

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 177
  • Сообщений: 278
  • Карма: 61
  • Пол: Мужской

Оффлайн Google-master

  • Старожил
  • ****
Re: Файл robots.txt
« Ответ #5 : 31-08-2016, 10:19:01 »
А чем это может грозить касаемо поисковых систем?
Появляются левые страницы в индексе. От того, что вы закроете эти страницы сайту точно хуже не будет. Я уже не первый год о дублях забыл, с таким роботсом мне как-то спокойней (все нужные страницы 100% в индексе).
САМЫЙ БЫСТРЫЙ ХОСТИНГ! Промокод на скидку 10%: anton-seo


 

Похожие темы

  Тема / Автор Ответов Последний ответ
1 Ответов
2491 Просмотров
Последний ответ 04-02-2012, 15:01:12
от NeSeo
3 Ответов
1355 Просмотров
Последний ответ 03-06-2014, 17:35:26
от vold57
16 Ответов
7562 Просмотров
Последний ответ 05-09-2015, 03:29:33
от Sky-fi
39 Ответов
4798 Просмотров
Последний ответ 13-10-2017, 15:31:45
от vold57
8 Ответов
2681 Просмотров
Последний ответ 15-08-2018, 16:31:18
от Надежда Хачатурова