robots.txt

[semester]

Предлагаю использовать для wordpress следующий robots.txt

Код Выделить Развернуть

User-agent: *
Allow: /
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */trackback/
Disallow: /author/
Disallow: /tags/

Это избавит вас от дублей. Разумеется по своему конкретному проекту, стоит добавлять свои директивы.
А также указывать xml карту сайта

[SeoBrabus]

armid, глянь, такой как?
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Allow: /wp-content/uploads/


Насколько эти важны?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /author/

[dbaik]

Насколько эти важны?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /author/

не важны
Для wordpress предлагаю следующий robots.txt:

Код Выделить Развернуть


# отдельно индексация Яндекс блогов
User-agent: YandexBlog
Disallow:

# отдельно  Яндекс
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.yoursite.ru

#все остальные поисковики
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

Sitemap: http://yoursite.ru/sitemap.xml


[semester]

dbaik, а почему к примеру для яндекса открыты страницы начинающиеся с category, а для остальных ботов закрыты?
Disallow: /category

[tsardima]

Розработчики Wp сами советуют вот этот

Код Выделить Развернуть

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://yoursite.ru/sitemap.xml

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag

[semester]

tsardima, спасибо, взял на вооружение кое-что!
Пример роботса в кодексе написано?

Могу добавить, что если кто меняет папку загрузки то измените путь: Allow: /wp-content/uploads

[tsardima]

Пример роботса в кодексе написано?

Я этот роботс давно еще cкопировал c lecactus.ru, если память не изменяет, там автор блога утвердждал, что этот роботс предлогается самими авторами wp, где именно предлогают я незнаю)

[vladimir1983]

http://wordpress.org/robots.txt
http://ru.wordpress.org/robots.txt
http://en.wordpress.com/robots.txt

[dbaik]

armid, на основе вот этой статьи

[semester]

dbaik, спасибо