robots.txt

Автор Тема: robots.txt  (Прочитано 11705 раз)

Оффлайн armidАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 60
  • Сообщений: 1246
  • Карма: 122
  • Зануда
  • Награды КМС поисковой оптимизации Почетный гражданин нашего форума
    • Просмотр профиля
    • Студент КПИ

Оффлайн armidАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 60
    • Сообщений: 1246
    • Карма: 122
    • Зануда
    • Награды КМС поисковой оптимизации Почетный гражданин нашего форума
      • Просмотр профиля
      • Студент КПИ
robots.txt
« : 12-11-2010, 15:18:50 »
Предлагаю использовать для wordpress следующий robots.txt
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.
Это избавит вас от дублей. Разумеется по своему конкретному проекту, стоит добавлять свои директивы.
А также указывать xml карту сайта


Оффлайн SeoBrabus

  • Глобальный модератор
  • Бизнес оценка: (6, 100%)
  • *****
  • СПАСИБО: 1055
  • Сообщений: 4058
  • Карма: 284
  • Пол: Мужской
  • Награды Более одной тысячи спасибо Мастер поисковой оптимизации Почетный гражданин нашего форума
    • Просмотр профиля
    • Сайт на заказ, продвижение сайтов.

Оффлайн SeoBrabus

  • Глобальный модератор
  • *****
Re: robots.txt
« Ответ #1 : 12-11-2010, 15:53:49 »
armid, глянь, такой как?
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Allow: /wp-content/uploads/


Насколько эти важны?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /author/

Оффлайн dbaik

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 137
  • Сообщений: 338
  • Карма: 31
  • Пол: Мужской
  • Кесарю - кесарево.
    • Просмотр профиля
    • Интернет-магазин подарков, приколов и интересных вещей podarki31.ru

Оффлайн dbaik

  • Старожил
  • ****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 137
    • Сообщений: 338
    • Карма: 31
    • Пол: Мужской
    • Кесарю - кесарево.
      • Просмотр профиля
      • Интернет-магазин подарков, приколов и интересных вещей podarki31.ru
Re: robots.txt
« Ответ #2 : 13-12-2010, 11:09:43 »
Насколько эти важны?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /author/
не важны
Для wordpress предлагаю следующий robots.txt:
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.

Оффлайн armidАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 60
  • Сообщений: 1246
  • Карма: 122
  • Зануда
  • Награды КМС поисковой оптимизации Почетный гражданин нашего форума
    • Просмотр профиля
    • Студент КПИ

Оффлайн armidАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 60
    • Сообщений: 1246
    • Карма: 122
    • Зануда
    • Награды КМС поисковой оптимизации Почетный гражданин нашего форума
      • Просмотр профиля
      • Студент КПИ
Re: robots.txt
« Ответ #3 : 13-12-2010, 20:01:34 »
dbaik, а почему к примеру для яндекса открыты страницы начинающиеся с category, а для остальных ботов закрыты?
Disallow: /category

Оффлайн tsardima

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 1
  • Сообщений: 56
  • Карма: 6
  • Пол: Мужской
    • Просмотр профиля
    • Bella Cucina - вкусные рецепты и интересные факты о еде

Оффлайн tsardima

  • Пользователь
  • **
Re: robots.txt
« Ответ #4 : 13-12-2010, 20:25:23 »
Розработчики Wp сами советуют вот этот
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.


Оффлайн armidАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 60
  • Сообщений: 1246
  • Карма: 122
  • Зануда
  • Награды КМС поисковой оптимизации Почетный гражданин нашего форума
    • Просмотр профиля
    • Студент КПИ

Оффлайн armidАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 60
    • Сообщений: 1246
    • Карма: 122
    • Зануда
    • Награды КМС поисковой оптимизации Почетный гражданин нашего форума
      • Просмотр профиля
      • Студент КПИ
Re: robots.txt
« Ответ #5 : 13-12-2010, 21:11:37 »
tsardima, спасибо, взял на вооружение кое-что!
Пример роботса в кодексе написано?

Могу добавить, что если кто меняет папку загрузки то измените путь: Allow: /wp-content/uploads

Оффлайн tsardima

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 1
  • Сообщений: 56
  • Карма: 6
  • Пол: Мужской
    • Просмотр профиля
    • Bella Cucina - вкусные рецепты и интересные факты о еде

Оффлайн tsardima

  • Пользователь
  • **
Re: robots.txt
« Ответ #6 : 13-12-2010, 21:38:20 »
Пример роботса в кодексе написано?
Я этот роботс давно еще cкопировал c lecactus.ru, если память не изменяет, там автор блога утвердждал, что этот роботс предлогается самими авторами wp, где именно предлогают я незнаю)

Оффлайн vladimir1983

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 79
  • Сообщений: 921
  • Карма: 101
  • Пол: Мужской
  • Награды За благотворительность Почетный гражданин нашего форума
    • Просмотр профиля
    • Волнистые попугаи

Оффлайн vladimir1983

  • Ветеран
  • *****
Re: robots.txt
« Ответ #7 : 13-12-2010, 22:05:14 »
http://wordpress.org/robots.txt
http://ru.wordpress.org/robots.txt
http://en.wordpress.com/robots.txt

Оффлайн dbaik

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 137
  • Сообщений: 338
  • Карма: 31
  • Пол: Мужской
  • Кесарю - кесарево.
    • Просмотр профиля
    • Интернет-магазин подарков, приколов и интересных вещей podarki31.ru

Оффлайн dbaik

  • Старожил
  • ****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 137
    • Сообщений: 338
    • Карма: 31
    • Пол: Мужской
    • Кесарю - кесарево.
      • Просмотр профиля
      • Интернет-магазин подарков, приколов и интересных вещей podarki31.ru
Re: robots.txt
« Ответ #8 : 15-12-2010, 15:17:21 »
armid, на основе вот этой статьи


Оффлайн armidАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 60
  • Сообщений: 1246
  • Карма: 122
  • Зануда
  • Награды КМС поисковой оптимизации Почетный гражданин нашего форума
    • Просмотр профиля
    • Студент КПИ

Оффлайн armidАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 60
    • Сообщений: 1246
    • Карма: 122
    • Зануда
    • Награды КМС поисковой оптимизации Почетный гражданин нашего форума
      • Просмотр профиля
      • Студент КПИ
Re: robots.txt
« Ответ #9 : 17-12-2010, 12:03:16 »
dbaik, спасибо


 

Похожие темы

  Тема / Автор Ответов Последний ответ
7 Ответов
2578 Просмотров
Последний ответ 25-08-2010, 11:37:44
от SeoBrabus
5 Ответов
3961 Просмотров
Последний ответ 27-10-2011, 23:56:20
от leksi
6 Ответов
2867 Просмотров
Последний ответ 03-01-2011, 13:24:13
от KaZaK
14 Ответов
3718 Просмотров
Последний ответ 17-09-2011, 21:56:31
от Tata
4 Ответов
2596 Просмотров
Последний ответ 15-02-2011, 13:09:47
от ReCopier