Добрый день форумчане! Подскажите пожалуйста (после оценки профессиональным взглядом) правильно ли написан файл роботс на моем сайте? Адрес сайта в подписи! Заранее спасибо)
Лично я использую такой robots:
User-agent: Yandex
Disallow: */*/feed/*/
Disallow: */*/trackback
Disallow: */comment-page-*
Disallow: */comments
Disallow: */feed
Disallow: */karta-bloga/
Disallow: */page/
Disallow: */trackback
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Disallow: /author
Disallow: /category/*/*
Disallow: /cgi-bin
Disallow: /cgi-sys
Disallow: /comments
Disallow: /page
Disallow: /search
Disallow: /tag
Disallow: /trackback
Disallow: /webstat
Disallow: /wp-admin
Disallow: /wp-comments
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /wp-includes
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-trackback
Disallow: /xmlrpc.php
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.css
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.css
Allow: /wp-content/uploads/*.js
Host: pomkomp.ru
User-agent: *
Disallow: */*/feed/*/
Disallow: */*/trackback
Disallow: */comment-page-*
Disallow: */comments
Disallow: */feed
Disallow: */karta-bloga/
Disallow: */page/
Disallow: */trackback
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Disallow: /author
Disallow: /category/*/*
Disallow: /cgi-bin
Disallow: /cgi-sys
Disallow: /comments
Disallow: /page
Disallow: /search
Disallow: /tag
Disallow: /trackback
Disallow: /webstat
Disallow: /wp-admin
Disallow: /wp-comments
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /wp-includes
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-trackback
Disallow: /xmlrpc.php
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.css
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.css
Allow: /wp-content/uploads/*.js
Sitemap: http://pomkomp.ru/sitemap.xml
Он громоздкий, зато с ним никогда на дубли страниц не жаловался.
Цитата: Антон-SEO от 31-08-2016, 10:06:11Он громоздкий, зато с ним никогда на дубли страниц не жаловался.
Я так смотрю, что вы закрываете от индексации комментарии? Для чего?
И по всей видимости на этом сайте есть поля регистрации и поле входа, чего у меня в принципе нет)
Цитата: kain114 от 31-08-2016, 10:09:20
Я так смотрю, что вы закрываете от индексации комментарии? Для чего?
И по всей видимости на этом сайте есть поля регистрации и поле входа, чего у меня в принципе нет)
Комментарии закрываю, чтобы дублей не было. Текст самих комментов без каких-либо проблем индексируется должным образом.
Попробуйте открыть свой сайт по адресам /wp-login.php и /wp-register.php (перед / домен). Удивитесь и поймёте почему я (и множество пользователей блогов на wp) их закрываю.
Добавлено: 31-08-2016, 10:14:20
Эх, всегда завидовал зарубежным сайтам ;D У них роботс просто сказочный, обычно из нескольких строк состоит. Вот пример одного знаменитого сайта на WP: http://www.bbcamerica.com/robots.txt
Цитата: Антон-SEO от 31-08-2016, 10:13:17Попробуйте открыть свой сайт по адресам /wp-login.php и /wp-register.php (перед / домен)
А чем это может грозить касаемо поисковых систем?
Цитата: kain114 от 31-08-2016, 10:16:41
А чем это может грозить касаемо поисковых систем?
Появляются левые страницы в индексе. От того, что вы закроете эти страницы сайту точно хуже не будет. Я уже не первый год о дублях забыл, с таким роботсом мне как-то спокойней (все нужные страницы 100% в индексе).