robots.txt

ReCopier · 15-02-2011, 13:26:03

Цитата: Killua от 14-01-2011, 15:45:40
...меня волнует один момент: никак негативно не отразится то, что у меня строчка Host: web4earn.ru имеется в двух экземплярах?

Насколько я помню директива Host должна быть указана один раз.

andreisurger · 18-02-2011, 22:23:05

насколько я знаю директива host указывается 1 раз и только для робота yandex. Остальные роботы не придают ему значение. И еще на сколько я знаю директива Allow отменена.

semester · 18-02-2011, 22:35:16

Цитата: andreisurger от 18-02-2011, 22:23:05host указывается 1 раз и только для робота yandex

Именно. Для гугл такой штуки не существует.
Насчет allow не знаю...

robots.txt

ReCopier

andreisurger

semester