Ошибки, часто встречающиеся в файле robots.txt

Автор Тема: Ошибки, часто встречающиеся в файле robots.txt  (Прочитано 7588 раз)

Оффлайн Владимир75Автор темы

  • Администратор
  • Бизнес оценка: (4, 100%)
  • *****
  • СПАСИБО: 6787
  • Сообщений: 10016
  • Карма: 641
  • Пол: Мужской
  • Это я такой уже старый
  • Награды SEO Профессионал Гроссмейстер поисковой оптимизации Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
    • Просмотр профиля
    • Оптимизация и Продвижение

Оффлайн Владимир75Автор темы

  • Администратор
  • *****
  • Доп. информация
    • Бизнес оценка: (4, 100%)
    • СПАСИБО: 6787
    • Сообщений: 10016
    • Карма: 641
    • Пол: Мужской
    • Это я такой уже старый
    • Награды SEO Профессионал Гроссмейстер поисковой оптимизации Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
      • Просмотр профиля
      • Оптимизация и Продвижение
У Яндекса написано, что протокол в директиве Host указывается только в том случае, если сайт работает по https. Так что все правильно.

Да это с тех времён, когда в вебмастере яндекса можно, как в гугле вебмастере прописывать главное зеркало сайта, но яндекс тормозной поэтому прописывать не помешает.
Seo-консультации по SkypeSeo и разработка сайтов, Облачный майнинг(Блокчейн)
Skype:service-advertising(без live)
Мобильный, Whatsap, Viber: 8(910)774-44-99


Оффлайн Skyer

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 1
  • Сообщений: 11
  • Карма: 0
  • Пол: Мужской
  • https://t.me/mr_skyer
    • Просмотр профиля

Оффлайн Skyer

  • Рекрут
  • *
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 1
    • Сообщений: 11
    • Карма: 0
    • Пол: Мужской
    • https://t.me/mr_skyer
      • Просмотр профиля
1. Из практики если сайт без http:// то указываю Host: site.com
2. Если сайт с https:// то указываю Host: https://site.com  в противном случае яндекс ругается на Host

Вопрос:
Кто-то разобрался как сделать чтобы гугл не ругался на параметр Clean-param: даже если он в блоке User-agent: Yandex
Проверенный хостинг, использую не один год: www.ukraine.com.ua [nofollow]

Оффлайн alexis54

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 5
  • Сообщений: 19
  • Карма: 1
  • Пол: Мужской
    • Просмотр профиля

Оффлайн alexis54

  • Рекрут
  • *
Есть еще один нюанс. который нигде не увидел - директива Sitemap. Если на сайте постоянно добавляется уникальный контент, то лучше НЕ добавлять в robots.txt ссылку на карту сайта.

Оффлайн Владимир75Автор темы

  • Администратор
  • Бизнес оценка: (4, 100%)
  • *****
  • СПАСИБО: 6787
  • Сообщений: 10016
  • Карма: 641
  • Пол: Мужской
  • Это я такой уже старый
  • Награды SEO Профессионал Гроссмейстер поисковой оптимизации Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
    • Просмотр профиля
    • Оптимизация и Продвижение

Оффлайн Владимир75Автор темы

  • Администратор
  • *****
  • Доп. информация
    • Бизнес оценка: (4, 100%)
    • СПАСИБО: 6787
    • Сообщений: 10016
    • Карма: 641
    • Пол: Мужской
    • Это я такой уже старый
    • Награды SEO Профессионал Гроссмейстер поисковой оптимизации Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
      • Просмотр профиля
      • Оптимизация и Продвижение
Есть еще один нюанс. который нигде не увидел - директива Sitemap. Если на сайте постоянно добавляется уникальный контент, то лучше НЕ добавлять в robots.txt ссылку на карту сайта.
Почему не добавлять, карта сайта может и автоматически обновлятся при размещении нового контента, как правило в любой cms есть такой плагин или модуль, который на автомате добавляет новый адрес в карту.
Seo-консультации по SkypeSeo и разработка сайтов, Облачный майнинг(Блокчейн)
Skype:service-advertising(без live)
Мобильный, Whatsap, Viber: 8(910)774-44-99


 

Похожие темы

  Тема / Автор Ответов Последний ответ
5 Ответов
3428 Просмотров
Последний ответ 03-10-2011, 15:40:03
от bumer
5 Ответов
1904 Просмотров
Последний ответ 15-02-2013, 09:35:54
от tureg1
1 Ответов
1044 Просмотров
Последний ответ 25-01-2014, 14:22:39
от Sky-fi
3 Ответов
1078 Просмотров
Последний ответ 18-10-2014, 12:56:10
от DOleg
4 Ответов
1233 Просмотров
Последний ответ 18-12-2015, 18:37:56
от ashifin