Файл robots.txt

[Sky-fi]

Да, так. А что это такое? В стандартном роботсе такого нет, если я не ошибаюсь:
Disallow: /template.html

[Юджин]

Да, так. А что это такое? В стандартном роботсе такого нет, если я не ошибаюсь:
Disallow: /template.html

Если честно,я не знаю.Мне сайт человек один сделал,а потом пропал.Подозреваю,что в составлении robots.txt он разбирается ненамного лучше меня.Теперь вот сам пытаюсь разобраться.У меня вообще мысль есть все папки и файлы в корне запретить к индексации,например вот так:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /webstat
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /.htaccess
Disallow: /index.php
Disallow: /testmail.php
Disallow: /wp-activate.php
Disallow: /wp-blog-header.php
Disallow: /wp-comments-post.php
Disallow: /wp-config-sample.php
Disallow: /wp-cron.php
Disallow: /wp-links-opml.php
Disallow: /wp-load.php
Disallow: /wp-login.php
Disallow: /wp-mail.php
Disallow: /wp-settings.php
Disallow: /wp-signup.php
Disallow: /wp-trackback.php
Disallow: /xmlrpc.php
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

User-Agent: Yandex
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /webstat
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /.htaccess
Disallow: /index.php
Disallow: /testmail.php
Disallow: /wp-activate.php
Disallow: /wp-blog-header.php
Disallow: /wp-comments-post.php
Disallow: /wp-config-sample.php
Disallow: /wp-cron.php
Disallow: /wp-links-opml.php
Disallow: /wp-load.php
Disallow: /wp-login.php
Disallow: /wp-mail.php
Disallow: /wp-settings.php
Disallow: /wp-signup.php
Disallow: /wp-trackback.php
Disallow: /xmlrpc.php
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Но я подозреваю,что некоторые файлы здесь не на своём месте,а некоторые просто нужно удалить.Файлы readme и license я уже удалил.И такой ещё вопрос -если файл wp-config.php находится не в корне,а в предыдущем уровне(не знаю как точно сказать,на каталог выше,что ли)-это нормально?

[Sky-fi]

Юджин, почитайте вот тут, я писал статью как раз на тему роботса. У вас некоторые директивы в данном роботсе доходят до абсурда, например, "Disallow: /.htaccess". Неужели вы думаете, что ПСы закинут ваш хтаксесс в индекс?
P.S. Для того, чтобы форумчанам было удобнее читать то, что вы пишете, большое кол-во строк второстепенной инфы (вроде содержимого роботса)рекомендую скрывать под спойлер,
[spoiler]вот так.[/spoiler]

[Юджин]

Неужели вы думаете, что ПСы закинут ваш хтаксесс в индекс?

Нет,я просто хотел по незнанию облегчить жизнь роботу,чтоб он не тратил время на просмотр этого файла.Теперь я понял,что даже закрытые от индексации файлы робот просматривает,но не индексирует.А  файлы с точкой вначале вообще не видит.Так пишут.Спасибо за участие. А строку Disallow: /template.html  видел в нескольких статьях по роботсу.Для чего она ума не приложу.
А в целом вышеприведенный роботс,за исключением .htaccess  нормальный?

[Старый]

А  файлы с точкой вначале вообще не видит.Так пишут.

Именно так. Потому что это системные файлы. 

[SeoKrug]

умники, как в выдаче гугл есть дoкументы, запрещенные в robots.txt? могу объяснить, но прежде вчитывайтесь в мои посты

[Sky-fi]

SeoKrug, вам стоит вести себя вежливее.

Как прописать ноиндекс для /wp-includes, например, а? Или как прописать для фильтров в магазине? И т. п.