Staurus.net - основные директивы файла robots.txt

Автор staurus86, 26-01-2016, 21:42:37

« назад - далее »

staurus86Topic starter

Ни для кого не секрет, что правила индексирования для роботов создаются в файле robots.txt

Но знали ли вы, что это не панацея для ПС, они с легкостью его могут обходит и индексировать то, что им нужно.

Про это и многое другое в статье на моем блоге:

http://staurus.net/robots-txt-dlya-sayta-pravilnaya-nastroyka


eashla

ЦитироватьНо знали ли вы, что это не панацея для ПС
Да
  •  



staurus86Topic starter

Цитата: vold57 от 27-01-2016, 19:06:52чем статья на вашем сайте лучше хелпов ПС?

Такой вопрос вы также можете задать еще 115000 авторам в интернете

vold57

Цитата: staurus86 от 27-01-2016, 19:29:57Такой вопрос вы также можете задать еще 115000 авторам в интернете

Могу. Но задал его именно вам и, в общем, ответ получил.



STRIJ

Добротная и подробная статья, мне понравилось.

TextMonster

Цитата: staurus86 от 26-01-2016, 21:42:37Но знали ли вы, что это не панацея для ПС, они с легкостью его могут обходит и индексировать то, что им нужно.

Это касается не только файла robots.txt. Многие наивно думают, что если что-то там скрывают, закрывают и т. д. от поисковых систем, то их пауки туда не доберутся. Все эти запрещающие и закрывающие теги, скрипты и всякая им подобная хрень сделана для успокоения души слабонервных владельцев сайтов и не более. Чел думает, что закрыл от индексации ссыль пользователя, который оставил под его статьей комментарий и спит себе спокойно. Ага, шас. Эту ссыль пауки уже давно опутали паутиной. Мы много чего не знаем, что умеют делать ПСы и их гончие пауки, может только догадываться. На этой всей фигне и стротися бизнес раскрутчиков, прогонщиков и т. д. Если бы все было прозрачно с ПСами, то вся SEOшная братия сидела бы уже у метро или под церковью мелочь сшибала.
TextMonster.Top: тексты для ваших блогов/сайтов, услуги web-мастера.
  •