Ошибки, часто встречающиеся в файле robots.txt

Автор Тема: Ошибки, часто встречающиеся в файле robots.txt  (Прочитано 17875 раз)

Оффлайн Shokoladnet

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 7
  • Сообщений: 40
  • Карма: 2
    • Просмотр профиля
    • SEO-future

Оффлайн Shokoladnet

  • Рекрут
  • *
а что делать с host если сайт на https? прописывать host: https://www.site.ru или оставлять как есть www.site.ru?

Яндекс в этом случае рекомендует прописывать так:  https://www.site.ru

Но видела недавно аудит по сайту, выполненный известной компанией, так они пишут без протокола.

Так что я тоже в сомнениях, но разве Яндексу не виднее?))


Оффлайн warlord

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 12
  • Сообщений: 28
  • Карма: 2
  • Пол: Мужской
    • Просмотр профиля
    • SECANDSAFE.RU

Оффлайн warlord

  • Рекрут
  • *
Ну вот тоже по рекомендации Яндекса прописали с протоколом. И все равно в сомнениях, а стоит ли так делать...

Оффлайн Надежда Хачатурова

  • Бизнес оценка: (11, 100%)
  • КМС
  • *****
  • СПАСИБО: 3550
  • Сообщений: 3943
  • Карма: 454
  • Пол: Женский
  • Аудит, seo-оптимизации
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации SEO-специалист
    • Просмотр профиля
    • Блог Надежды Хачатуровой
  • Доп. информация
    • Бизнес оценка: (11, 100%)
    • СПАСИБО: 3550
    • Сообщений: 3943
    • Карма: 454
    • Пол: Женский
    • Аудит, seo-оптимизации
    • Награды Более трех тысяч спасибо Мастер поисковой оптимизации SEO-специалист
      • Просмотр профиля
      • Блог Надежды Хачатуровой
Отдельные роботы (например googlebot) понимают директиву Allow
Все верно. С помощью allow открываем заблокированные ресурсы в запрещенных к сканированию папках для googlebot'ov.

Аудит и оптимизация сайтов
Хостинг - надежный, SSL - бесплатный

Оффлайн Иван Маслов

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 6
  • Сообщений: 29
  • Карма: 1
  • Пол: Мужской
    • Просмотр профиля
    • SEO Блог Ивана Маслова

Оффлайн Иван Маслов

  • Рекрут
  • *
Очень полезная инфа, спасибо Владимир!

Оффлайн alex115

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 8
  • Сообщений: 8
  • Карма: 1
  • Пол: Мужской
  • http://alexandrov.by
    • Просмотр профиля
    • Оптимизация и поисковое продвижение

Оффлайн alex115

  • Дебютант
  • *
а что делать с host если сайт на https? прописывать host: https://www.site.ru или оставлять как есть www.site.ru?

Как написано в руководстве Яндекса по поводу директивы Host (см. https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#host ):
"Директива Host должна содержать указание на протокол HTTPS, если зеркало доступно только по защищенному каналу (Host: https://myhost.ru)."
Оптимизация и поисковое продвижение
http://alexandrov.by


Оффлайн beesyst

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 5
  • Сообщений: 65
  • Карма: 1
  • Пол: Мужской
  • BeeSyst
    • Просмотр профиля
    • BeeSyst

Оффлайн beesyst

  • Пользователь
  • **
1. Просьба объяснить, зачем указывать каждого бота, когда, по идее, можно указать:

User-agent: *

2. Можете точно указать по поводу host, если https:

Host: www.example.com (у меня так указано)
Host: https://www.example.com/
Host: https://www.example.com

3. Зачем указывать:

Crawl-delay: 4

4. Нужно ли указывать Sitemap? Если да, то как?

Спасибо.

Оффлайн alex115

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 8
  • Сообщений: 8
  • Карма: 1
  • Пол: Мужской
  • http://alexandrov.by
    • Просмотр профиля
    • Оптимизация и поисковое продвижение

Оффлайн alex115

  • Дебютант
  • *
1. Просьба объяснить, зачем указывать каждого бота, когда, по идее, можно указать:

User-agent: *

Единственное объяснение, зачем нужен блок "User-agent: Yandex" - это то, что директиву Host могут понимать не все роботы. Эксперименты показали, что если правила для всех роботов одинаковы, то сайт великолепно себя чувствует с одним блоком "User-agent: *".

2. Можете точно указать по поводу host, если https:

Host: www.example.com (у меня так указано)
Host: https://www.example.com/
Host: https://www.example.com

У Яндекса написано (https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#host ), что директива должны быть такая:
Host: https://www.example.com

Дополнительно можете посмотреть https://devaka.ru/articles/moving-to-https Раздел 3.

3. Зачем указывать:

Crawl-delay: 4

Crawl-delay обычно используют, если сервер перегружен. Тогда можно установить задержку, через сколько секунд грузить следующую страницу.

4. Нужно ли указывать Sitemap? Если да, то как?


Sitemap нужно указывать, причем всегда с укзазанием протокола (не важно http или https). Смотрите здесь: https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#sitemap
Оптимизация и поисковое продвижение
http://alexandrov.by

Оффлайн beesyst

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 5
  • Сообщений: 65
  • Карма: 1
  • Пол: Мужской
  • BeeSyst
    • Просмотр профиля
    • BeeSyst

Оффлайн beesyst

  • Пользователь
  • **
Благодарю.

Оффлайн ClubTravels

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 1
  • Сообщений: 10
  • Карма: 0
  • Пол: Мужской
  • Самые горячие туры
    • Просмотр профиля
    • Клуб путешествий - надежное турагентство выгодных туров

Оффлайн ClubTravels

  • Рекрут
  • *
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 1
    • Сообщений: 10
    • Карма: 0
    • Пол: Мужской
    • Самые горячие туры
      • Просмотр профиля
      • Клуб путешествий - надежное турагентство выгодных туров
   Непосредственно ошибки

Url в директиве Host
Следует писать без аббревиатуры протокола передачи гипертекста, то есть без http:// и без закрывающего слеша /
Неправильно:
User-agent: Yandex
Disallow: /cgi-bin
Host: http://www.site.ru/
Правильно:
User-agent: Yandex
Disallow: /cgi-bin
Host: www.site.ru
Директива host Является корректной только для робота Яндекса

Т.е. вот так неправильно?
User-agent: *
---
---
Host: https://club-travels.ru

У меня https - основной, а http и www - зеркала

« Последнее редактирование: 09-12-2016, 09:55:41 от ClubTravels »


Оффлайн alex115

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 8
  • Сообщений: 8
  • Карма: 1
  • Пол: Мужской
  • http://alexandrov.by
    • Просмотр профиля
    • Оптимизация и поисковое продвижение

Оффлайн alex115

  • Дебютант
  • *
Т.е. вот так неправильно?
User-agent: *
---
---
Host: https://club-travels.ru

У меня https - основной, а http и www - зеркала


У Яндекса написано, что протокол в директиве Host указывается только в том случае, если сайт работает по https. Так что все правильно.
Оптимизация и поисковое продвижение
http://alexandrov.by


 

Похожие темы

  Тема / Автор Ответов Последний ответ
5 Ответов
3610 Просмотров
Последний ответ 03-10-2011, 15:40:03
от bumer
5 Ответов
2185 Просмотров
Последний ответ 15-02-2013, 09:35:54
от tureg1
1 Ответов
1287 Просмотров
Последний ответ 25-01-2014, 14:22:39
от Sky-fi
3 Ответов
1298 Просмотров
Последний ответ 18-10-2014, 12:56:10
от DOleg
4 Ответов
1736 Просмотров
Последний ответ 18-12-2015, 18:37:56
от ashifin