Staurus.net - основные директивы файла robots.txt

Автор Тема: Staurus.net - основные директивы файла robots.txt  (Прочитано 1489 раз)

Оффлайн staurus86Автор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 12
  • Сообщений: 24
  • Карма: 2
  • Пол: Мужской
  • Награды SEO-специалист

Оффлайн staurus86Автор темы

  • Рекрут
  • *
Ни для кого не секрет, что правила индексирования для роботов создаются в файле robots.txt

Но знали ли вы, что это не панацея для ПС, они с легкостью его могут обходит и индексировать то, что им нужно.

Про это и многое другое в статье на моем блоге:

http://staurus.net/robots-txt-dlya-sayta-pravilnaya-nastroyka


Оффлайн eashla

  • Бизнес оценка: (1, 100%)
  • Постоялец
  • ***
  • СПАСИБО: 95
  • Сообщений: 187
  • Карма: 16
  • Пол: Мужской
  • движение=жизнь
  • Награды SEO-специалист
    • ООО "КЛИМАСЕРВИС"

Оффлайн eashla

  • Постоялец
  • ***
  • Доп. информация
    • Бизнес оценка: (1, 100%)
    • СПАСИБО: 95
    • Сообщений: 187
    • Карма: 16
    • Пол: Мужской
    • движение=жизнь
    • Награды SEO-специалист
      • ООО "КЛИМАСЕРВИС"
Цитировать
Но знали ли вы, что это не панацея для ПС
Да

Оффлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5155
  • Сообщений: 7077
  • Карма: 281
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • SEO, интернет-маркетинг, сайостроение

Оффлайн vold57

  • Мастер
  • *****
staurus86, чем статья на вашем сайте лучше хелпов ПС?

Оффлайн staurus86Автор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 12
  • Сообщений: 24
  • Карма: 2
  • Пол: Мужской
  • Награды SEO-специалист

Оффлайн staurus86Автор темы

  • Рекрут
  • *
чем статья на вашем сайте лучше хелпов ПС?

Такой вопрос вы также можете задать еще 115000 авторам в интернете

Оффлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5155
  • Сообщений: 7077
  • Карма: 281
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • SEO, интернет-маркетинг, сайостроение

Оффлайн vold57

  • Мастер
  • *****
Такой вопрос вы также можете задать еще 115000 авторам в интернете

Могу. Но задал его именно вам и, в общем, ответ получил.



Оффлайн STRIJ

  • Глобальный модератор
  • Бизнес оценка: (3, 100%)
  • *****
  • СПАСИБО: 1363
  • Сообщений: 4712
  • Карма: 146
  • Пол: Мужской
  • Back to the future
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации Почетный гражданин нашего форума За благотворительность
    • Заработок в интернете

Оффлайн STRIJ

  • Глобальный модератор
  • *****
Добротная и подробная статья, мне понравилось.

Оффлайн jansen

  • Бизнес оценка: (1, 100%)
  • Старожил
  • ****
  • СПАСИБО: 295
  • Сообщений: 411
  • Карма: 46
  • Пол: Мужской
  • Rerayter.Com
    • Авангард блогосферы

Оффлайн jansen

  • Старожил
  • ****
Но знали ли вы, что это не панацея для ПС, они с легкостью его могут обходит и индексировать то, что им нужно.

Это касается не только файла robots.txt. Многие наивно думают, что если что-то там скрывают, закрывают и т. д. от поисковых систем, то их пауки туда не доберутся. Все эти запрещающие и закрывающие теги, скрипты и всякая им подобная хрень сделана для успокоения души слабонервных владельцев сайтов и не более. Чел думает, что закрыл от индексации ссыль пользователя, который оставил под его статьей комментарий и спит себе спокойно. Ага, шас. Эту ссыль пауки уже давно опутали паутиной. Мы много чего не знаем, что умеют делать ПСы и их гончие пауки, может только догадываться. На этой всей фигне и стротися бизнес раскрутчиков, прогонщиков и т. д. Если бы все было прозрачно с ПСами, то вся SEOшная братия сидела бы уже у метро или под церковью мелочь сшибала.


 

Похожие темы

  Тема / Автор Ответов Последний ответ
1 Ответов
1023 Просмотров
Последний ответ 04-06-2013, 19:01:58
от vold57
4 Ответов
1427 Просмотров
Последний ответ 04-12-2015, 00:13:59
от Вадим Костин
0 Ответов
575 Просмотров
Последний ответ 10-02-2016, 19:33:00
от staurus86
5 Ответов
2250 Просмотров
Последний ответ 15-08-2018, 23:54:45
от vold57
17 Ответов
2263 Просмотров
Последний ответ 19-07-2019, 11:31:58
от vold57