Robots.txt или почему стоит относиться к нему серьезнее

Автор ReCopier, 31-10-2011, 05:57:33

« назад - далее »

ReCopierTopic starter

Прочитал недавний пост http://habrahabr.ru/blogs/infosecurity/130882/.
Задумался. А ведь действительно многие, даже популярные компании, допускают подобные ошибки.
  •  


Sevab

Что интересно, проверял както роботсы моих соавторов, почти у половины они составлены как попало. Даже у тех, у кого есть статьи про роботс  :o.
Как всегда сапожник без сапог.

А вообще это не панацея, мэт катс говорил что не смотря на запреты в роботсе, гугл все равно может проиндексировать страницы.


ReCopierTopic starter

Цитата: Sevab от 31-10-2011, 10:02:12
А вообще это не панацея, мэт катс говорил что не смотря на запреты в роботсе, гугл все равно может проиндексировать страницы.
Это да. Гоша наглый и чрезмерно любопытный.
  •