Файл robots.txt

[kain114]

Добрый день форумчане! Подскажите пожалуйста (после оценки профессиональным взглядом) правильно ли написан файл роботс на моем сайте? Адрес сайта в подписи! Заранее спасибо)

[Google-master]

Лично я использую такой robots:

User-agent: Yandex
Disallow: */*/feed/*/
Disallow: */*/trackback
Disallow: */comment-page-*
Disallow: */comments
Disallow: */feed
Disallow: */karta-bloga/
Disallow: */page/
Disallow: */trackback
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Disallow: /author
Disallow: /category/*/*
Disallow: /cgi-bin
Disallow: /cgi-sys
Disallow: /comments
Disallow: /page
Disallow: /search
Disallow: /tag
Disallow: /trackback
Disallow: /webstat
Disallow: /wp-admin
Disallow: /wp-comments
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /wp-includes
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-trackback
Disallow: /xmlrpc.php
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.css
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.css
Allow: /wp-content/uploads/*.js

Host: pomkomp.ru


User-agent: *
Disallow: */*/feed/*/
Disallow: */*/trackback
Disallow: */comment-page-*
Disallow: */comments
Disallow: */feed
Disallow: */karta-bloga/
Disallow: */page/
Disallow: */trackback
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Disallow: /author
Disallow: /category/*/*
Disallow: /cgi-bin
Disallow: /cgi-sys
Disallow: /comments
Disallow: /page
Disallow: /search
Disallow: /tag
Disallow: /trackback
Disallow: /webstat
Disallow: /wp-admin
Disallow: /wp-comments
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /wp-includes
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-trackback
Disallow: /xmlrpc.php
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.css
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.css
Allow: /wp-content/uploads/*.js

Sitemap: http://pomkomp.ru/sitemap.xml


Он громоздкий, зато с ним никогда на дубли страниц не жаловался.

[kain114]

Он громоздкий, зато с ним никогда на дубли страниц не жаловался.

Я так смотрю, что вы закрываете от индексации комментарии? Для чего?
И по всей видимости на этом сайте есть поля регистрации и поле входа, чего у меня в принципе нет)

[Google-master]

Я так смотрю, что вы закрываете от индексации комментарии? Для чего?
И по всей видимости на этом сайте есть поля регистрации и поле входа, чего у меня в принципе нет)

Комментарии закрываю, чтобы дублей не было. Текст самих комментов без каких-либо проблем индексируется должным образом.
Попробуйте открыть свой сайт по адресам  /wp-login.php и  /wp-register.php (перед / домен). Удивитесь и поймёте почему я (и множество пользователей блогов на wp) их закрываю.
Добавлено: 31-08-2016, 10:14:20

Эх, всегда завидовал зарубежным сайтам     У них роботс просто сказочный, обычно из нескольких строк состоит. Вот пример одного знаменитого сайта на WP: http://www.bbcamerica.com/robots.txt

[kain114]

Попробуйте открыть свой сайт по адресам  /wp-login.php и  /wp-register.php (перед / домен)

А чем это может грозить касаемо поисковых систем?

[Google-master]

А чем это может грозить касаемо поисковых систем?

Появляются левые страницы в индексе. От того, что вы закроете эти страницы сайту точно хуже не будет. Я уже не первый год о дублях забыл, с таким роботсом мне как-то спокойней (все нужные страницы 100% в индексе).