Оптимальный robots.txt для блога

Автор Тема: Оптимальный robots.txt для блога  (Прочитано 2784 раз)

Оффлайн venom777Автор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 1
  • Сообщений: 10
  • Карма: 0
    • Просмотр профиля

Оффлайн venom777Автор темы

  • Рекрут
  • *
Файл robots.txt лекарство для блогов WordPress, несмотря на свою гибкость и податливость на изменения в коде, этот движок блога не обладает по умолчанию файлом robots.txt, что для новичков может стать настоящей проблемой. А для внутренней оптимизации этот небольшой файл очень важен. Вот как создать robots.txt для своего блога рассмотрим далее.

О да, блог будет отлично индексироваться и без robots.txt и скорее всего первый пост попадет в индекс шустрого Гугла уже через 3-5 часов. Но что повлечет за собой такая индексация впоследствии, вот в чем загвоздка. Последствия могут быть весьма плачевными, особенно для тех, кто потом в дальнейшем войдет в курс дела и поймет, что заранее не создав robots.txt получил кучу дубликата блога.

 

Для чего нужен robots.txt? При обращении поисковых ботов к блогу да и к сайту в частности, первым делом происходит сканирование на наличие этого файла, если таковой отсутствует блог будет все равно проиндексирован, но нужно ли это?

Файл robots.txt необходим не для управления поисковыми ботами, а для некоторого направления в индексации, говорящий им о том, что нужно индексировать, а что нет. Он ставит команду на запрет сканирования и занесения в базу поисковика некоторых нежелательных директорий блога.

Основная проблема при работе с WordPress, заключается в большом количестве дубликатов контента, который он создает. Под разными URL адресами на блоге можно найти один и тот же контент, что рассматривается поисковой системой как дубликат и она начинает постепенно применять к блогу свои фильтры. Сюда можно отнести адреса: рубрик, категорий, тегов, RSS канала, запросов через поиск и еще массу ненужных для внесения в базу поисковика адресов – входа в панель администрации WordPress и административную папку в целом.

Чтобы решить проблему дубликатов контента, естественно необходимо создать robots.txt для блога WordPress. У каждого он может быть свой в зависимости от названия папок в корневой части блога и смотря, что Вы хотите срыть от поисковых ботов. Приведу лишь пример файла, который использую на своем блоге. Путем некоторых экспериментов у меня вышел следующий robots.txt, который я считаю наиболее эффективным для WordPress:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/- запрет фида канала RSS
Disallow: /comments/– данную строку указывать, если хотите запретить комментарии
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Sitemap: http://megasoft.3dn.ru/sitemap-forum.xml (пример)- карта блога

User-agent: Yandex – команды поисковому боту Яндекса
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/– запрет фида канала RSS
Disallow: /comments/ – данную строку указывать, если хотите запретить комментарии
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: seocekret.ru- адрес хоста, которым нужно исключить зеркала для Яндекса с www

Строки которые не расписаны в объяснении, думаю и так можно догадаться, что они запрещают. Хочу лишь обратить особое внимание на запрет *?* и *? – данная команда даст роботу запрет на индексацию динамических адресов блога, которые обычно по умолчанию создаются при написании постов, и если у Вас URL адреса страниц имеют именно такой вид со знаком вопроса, то обязательно исключите эти команды из файла robots.txt.

Если на блоге Вы используете вид статических адресов, например http://www.sbup.com/blog/ (пример), формируя их с помощью плагина, то оставьте все как есть. Создать robots.txt довольно просто – достаточно открыть блокнот и скопировать в него вышеуказанные строки, затем сохранить файл с расширением txt. После чего залейте его в корневой каталог блога, через FTP или непосредственно с панели хостера управления блогом.


Оффлайн Kerol

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 1
  • Сообщений: 189
  • Карма: 2
  • Пол: Мужской
  • http://www.seoplant.ru/
    • Просмотр профиля
    • Скрытая реклама

Оффлайн Kerol

  • Постоялец
  • ***
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 1
    • Сообщений: 189
    • Карма: 2
    • Пол: Мужской
    • http://www.seoplant.ru/
      • Просмотр профиля
      • Скрытая реклама
Re: Оптимальный robots.txt для блога
« Ответ #1 : 22-05-2010, 11:35:50 »
Спасибо за интересную статью. Сохраню. С роботс.тхт не особо дружил. Пересмотрю свои взгляды
25+25=12

Оффлайн мастер_SDM

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 0
  • Сообщений: 43
  • Карма: 2
  • Пол: Мужской
    • Просмотр профиля

Оффлайн мастер_SDM

  • Рекрут
  • *
Re: Оптимальный robots.txt для блога
« Ответ #2 : 28-05-2010, 19:45:30 »
Спасибо за интересную статью. Сохраню. С роботс.тхт не особо дружил. Пересмотрю свои взгляды
Это точно, но для того, чтобы сайт реально управлялся и поддавался сео-оптимизации внутренней, то стоит учиться рабете с роботс файлом, сам не на "ты" с роботс-фалом, но приходится учиться, так как в этом файле много возможности для настройки свойств вашего сайта.


 

Похожие темы

  Тема / Автор Ответов Последний ответ
31 Ответов
12343 Просмотров
Последний ответ 26-04-2019, 16:58:49
от diplom07
19 Ответов
6454 Просмотров
Последний ответ 18-10-2017, 12:50:27
от STRIJ
1 Ответов
781 Просмотров
Последний ответ 17-11-2016, 13:46:50
от abverer
3 Ответов
715 Просмотров
Последний ответ 16-02-2018, 08:21:41
от swede1987
1 Ответов
2642 Просмотров
Последний ответ 19-12-2018, 12:38:00
от iZaZap