Подскажите с robots.txt

Автор Тема: Подскажите с robots.txt  (Прочитано 2777 раз)

Оффлайн tenzorАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 0
  • Сообщений: 11
  • Карма: 1
    • Просмотр профиля

Оффлайн tenzorАвтор темы

  • Рекрут
  • *
Подскажите с robots.txt
« : 07-03-2011, 02:09:18 »
Здраствуйте, прошу подсказать с robots

Вот мой robots.txt:

(нажмите чтобы показать/скрыть)

Подскажите пожалуйста, правильно ли составлен?, какие ошибки, может чего-то нехватает, посоветуйте, гоша почему то проиндексировал страницу site.ru/2011/02/13, хотя вроде поставлен запрет, и еще подскажите пожалуйста нужно чтобы индексировались теги? - site.ru/tags, site.ru/tags/2011. Сайт на игровую тематику, спасибо


Оффлайн Rimmon

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 30
  • Сообщений: 234
  • Карма: 27
  • Пол: Мужской
    • Просмотр профиля

Оффлайн Rimmon

  • Постоялец
  • ***
Re: Подскажите с robots.txt
« Ответ #1 : 07-03-2011, 04:03:31 »
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.
У меня такой роботс, хотя гоша проиндексировал страницу /page/2, дальше пока не стал этого делать.
Плюс в индексе то появляются, то пропадают страницы вида /6-6/
Где-то на форуме здесь читал, что в роботсе лучше сначал для яндекса прописать, а потом уже всех остальных ПС, потому сделал яндекс вначале, хотя думаю что не принципиально.
Плюс вам надо сделать для всех не существующих страниц 404.пхп, у меня так все дубли уже выпали и остался только оригинал.
Еще у меня идея есть сделать сайт по аниме, а там все сайты на дле, есть проверенный способ, как их дублями завалить, можно даже без затрат (в ЛС скину)

Оффлайн armid

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 60
  • Сообщений: 1246
  • Карма: 122
  • Зануда
  • Награды КМС поисковой оптимизации Почетный гражданин нашего форума
    • Просмотр профиля
    • Студент КПИ

Оффлайн armid

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 60
    • Сообщений: 1246
    • Карма: 122
    • Зануда
    • Награды КМС поисковой оптимизации Почетный гражданин нашего форума
      • Просмотр профиля
      • Студент КПИ
Re: Подскажите с robots.txt
« Ответ #2 : 07-03-2011, 12:59:25 »
Так а для какой CMS вы тут примеры выкладываете?

Оффлайн tenzorАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 0
  • Сообщений: 11
  • Карма: 1
    • Просмотр профиля

Оффлайн tenzorАвтор темы

  • Рекрут
  • *
Re: Подскажите с robots.txt
« Ответ #3 : 07-03-2011, 17:55:58 »
dle 9.2

Оффлайн Fess

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 68
  • Сообщений: 297
  • Карма: 28
  • Пол: Мужской
    • Просмотр профиля

Оффлайн Fess

  • Старожил
  • ****
Re: Подскажите с robots.txt
« Ответ #4 : 25-03-2011, 17:14:56 »
Чтобы не индексировал разные вложения в site.ru/2011/ нужно подписать звездочку - Disallow: /2011/*
К тому же, как показал Rimmon нужно писать обычно два User-agent : для яши и для всех остальных в том числе и гугль.

Кстати, Host надо писать только для яши, остальные могут не понять ее.
« Последнее редактирование: 25-03-2011, 17:17:23 от Fess »


 

Похожие темы

  Тема / Автор Ответов Последний ответ
7 Ответов
2652 Просмотров
Последний ответ 25-08-2010, 11:37:44
от SeoBrabus
5 Ответов
4062 Просмотров
Последний ответ 27-10-2011, 23:56:20
от leksi
7 Ответов
1686 Просмотров
Последний ответ 06-08-2011, 14:16:24
от KaZaK
2 Ответов
695 Просмотров
Последний ответ 30-03-2015, 17:51:19
от Boull
2 Ответов
856 Просмотров
Последний ответ 23-02-2016, 01:08:18
от alexandrius