Зачем отдельный robots.txt для различных поисковиков?

Автор Тема: Зачем отдельный robots.txt для различных поисковиков?  (Прочитано 572 раз)

Оффлайн batan-92Автор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 26
  • Сообщений: 166
  • Карма: 2
  • Пол: Мужской
  • Награды SEO-специалист
    • Просмотр профиля
    • MAX-info!

Оффлайн batan-92Автор темы

  • Постоялец
  • ***
В общем исходя из той логики, что в принципе сайт одинаковый для всех- написал в файле robots.txt одни Директивы для всех поисковых систем. Т.е. User-agent: * и ниже уже список что надо индексировать, а что не надо и всё остальное. В принципе как то особо не заморачивался с этим дальше. Но сегодня просто от скуки решил подсмотреть, а как же это реализовано у других и понял, что я чего то не понял, но чего я не понял- я до сих пор не понял.
В общем оказался в ступоре, что добрая часть всех сайтов имеют отдельные директивы для яндекса, отдельно для всех остальных, некоторые- отдельно для яднекса, отдельно для гугла, отдельно для остальных. Всё бы ничего, но между тем у всех их написаны одинаковые директивы! Т.е. Один блок скопирован два-три раза. Для яндекса, гугла и всех остальных. Собственно суть вопроса в том, может я чего то не знаю, зачем писать три блока с одинаковым набором директив, если можно написать один для всех? Объясните мне, может я чего то не знаю и мне тоже надо так сделать?  ::)
Гадаю по ip, ставлю windows по фотографии, насылаю вируса, порча коннекта, избавление от большого пинга, изгнание вирусов...


Оффлайн Marishel

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 304
  • Сообщений: 880
  • Карма: 19
  • Пол: Женский
    • Просмотр профиля
    • грузоперевозки

Оффлайн Marishel

  • Ветеран
  • *****
роботы любят когда обращаются именно к ним

Оффлайн batan-92Автор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 26
  • Сообщений: 166
  • Карма: 2
  • Пол: Мужской
  • Награды SEO-специалист
    • Просмотр профиля
    • MAX-info!

Оффлайн batan-92Автор темы

  • Постоялец
  • ***
Вот я тоже так подумал. Хотя специально предварительно погуглил- ничего нигде на эту тему не нашёл, решил тут написать.
В общем надо бы прихватизировать эту идею.  ;D
Гадаю по ip, ставлю windows по фотографии, насылаю вируса, порча коннекта, избавление от большого пинга, изгнание вирусов...


 

Похожие темы

  Тема / Автор Ответов Последний ответ
1 Ответов
1824 Просмотров
Последний ответ 26-07-2011, 15:44:59
от Sevab
0 Ответов
935 Просмотров
Последний ответ 28-02-2012, 13:18:49
от kuksha
2 Ответов
1377 Просмотров
Последний ответ 29-09-2013, 21:39:48
от Zlatovlaska
2 Ответов
1028 Просмотров
Последний ответ 14-05-2015, 03:59:03
от geekwolf
15 Ответов
2340 Просмотров
Последний ответ 01-06-2015, 00:53:46
от Rataban