Ошибки, часто встречающиеся в файле robots.txt

Автор Тема: Ошибки, часто встречающиеся в файле robots.txt  (Прочитано 8334 раз)

Онлайн Владимир75Автор темы

  • Администратор
  • Бизнес оценка: (4, 100%)
  • *****
  • СПАСИБО: 6855
  • Сообщений: 10086
  • Карма: 642
  • Пол: Мужской
  • Это я такой уже старый
  • Награды SEO Профессионал Гроссмейстер поисковой оптимизации Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
    • Просмотр профиля
    • Оптимизация и Продвижение

Онлайн Владимир75Автор темы

  • Администратор
  • *****
  • Доп. информация
    • Бизнес оценка: (4, 100%)
    • СПАСИБО: 6855
    • Сообщений: 10086
    • Карма: 642
    • Пол: Мужской
    • Это я такой уже старый
    • Награды SEO Профессионал Гроссмейстер поисковой оптимизации Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
      • Просмотр профиля
      • Оптимизация и Продвижение
У Яндекса написано, что протокол в директиве Host указывается только в том случае, если сайт работает по https. Так что все правильно.

Да это с тех времён, когда в вебмастере яндекса можно, как в гугле вебмастере прописывать главное зеркало сайта, но яндекс тормозной поэтому прописывать не помешает.
Seo-консультации по SkypeSeo и разработка сайтов, Облачный майнинг(Блокчейн)
Skype:service-advertising(без live)
Мобильный, Whatsap, Viber: 8(910)774-44-99


Оффлайн Skyer

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 1
  • Сообщений: 11
  • Карма: 0
  • Пол: Мужской
  • https://t.me/mr_skyer
    • Просмотр профиля

Оффлайн Skyer

  • Рекрут
  • *
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 1
    • Сообщений: 11
    • Карма: 0
    • Пол: Мужской
    • https://t.me/mr_skyer
      • Просмотр профиля
1. Из практики если сайт без http:// то указываю Host: site.com
2. Если сайт с https:// то указываю Host: https://site.com  в противном случае яндекс ругается на Host

Вопрос:
Кто-то разобрался как сделать чтобы гугл не ругался на параметр Clean-param: даже если он в блоке User-agent: Yandex
Проверенный хостинг, использую не один год: www.ukraine.com.ua [nofollow]

Оффлайн alexis54

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 5
  • Сообщений: 19
  • Карма: 1
  • Пол: Мужской
    • Просмотр профиля

Оффлайн alexis54

  • Рекрут
  • *
Есть еще один нюанс. который нигде не увидел - директива Sitemap. Если на сайте постоянно добавляется уникальный контент, то лучше НЕ добавлять в robots.txt ссылку на карту сайта.

Онлайн Владимир75Автор темы

  • Администратор
  • Бизнес оценка: (4, 100%)
  • *****
  • СПАСИБО: 6855
  • Сообщений: 10086
  • Карма: 642
  • Пол: Мужской
  • Это я такой уже старый
  • Награды SEO Профессионал Гроссмейстер поисковой оптимизации Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
    • Просмотр профиля
    • Оптимизация и Продвижение

Онлайн Владимир75Автор темы

  • Администратор
  • *****
  • Доп. информация
    • Бизнес оценка: (4, 100%)
    • СПАСИБО: 6855
    • Сообщений: 10086
    • Карма: 642
    • Пол: Мужской
    • Это я такой уже старый
    • Награды SEO Профессионал Гроссмейстер поисковой оптимизации Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
      • Просмотр профиля
      • Оптимизация и Продвижение
Есть еще один нюанс. который нигде не увидел - директива Sitemap. Если на сайте постоянно добавляется уникальный контент, то лучше НЕ добавлять в robots.txt ссылку на карту сайта.
Почему не добавлять, карта сайта может и автоматически обновлятся при размещении нового контента, как правило в любой cms есть такой плагин или модуль, который на автомате добавляет новый адрес в карту.
Seo-консультации по SkypeSeo и разработка сайтов, Облачный майнинг(Блокчейн)
Skype:service-advertising(без live)
Мобильный, Whatsap, Viber: 8(910)774-44-99

Оффлайн kirkirkir

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 1
  • Сообщений: 7
  • Карма: 0
    • Просмотр профиля

Оффлайн kirkirkir

  • Дебютант
  • *
Особенно важно для начинающих :D
Избыточное наполнение robots.txt. Начинающие вебмастера впечатляются статьями, где сказано, что все ненужное необходимо закрыть в robots.txt и начинают закрывать вообще все, кроме текста на строго определенных страницах. Это, мягко говоря, неверно.
Во-первых, существует рекомендация Google не закрывать скрипты, CSS и прочее, что может помешать боту увидеть сайт так же, как видит его пользователь.
Во-вторых, очень большое количество ошибок связано с тем, что закрывая одно, пользователь закрывает другое тоже. Безусловно, можно и нужно проверять доступность страницы и ее элементов.
Как вариант ошибки - путаница с последовательностью Allow и Disallow.
Лучше всего закрывать в robots.txt только очевидно ненужные боту вещи, вроде формы регистрации, страницы перенаправления ссылок и т.п., а от дубликатов избавляться с помощью canonical.
Обратите внимание, что то, что Вы поправили robots.txt совсем не обозначает, что Yandex- bot и Google-bot его сразу перечитают. Для ускорения этого процесса достаточно посмотреть на robots.txt, соответствующем разделе вебмастера.
Лучше всего для начала прогоните сайт через Лабрику ( labrika ), в техническом аудите будет видно- правильно ли настроен  robots, каноникал, есть ли редиректы, есть ли битые 404 страницы и т.д.




 

Похожие темы

  Тема / Автор Ответов Последний ответ
5 Ответов
3449 Просмотров
Последний ответ 03-10-2011, 15:40:03
от bumer
5 Ответов
1922 Просмотров
Последний ответ 15-02-2013, 09:35:54
от tureg1
1 Ответов
1079 Просмотров
Последний ответ 25-01-2014, 14:22:39
от Sky-fi
3 Ответов
1095 Просмотров
Последний ответ 18-10-2014, 12:56:10
от DOleg
4 Ответов
1274 Просмотров
Последний ответ 18-12-2015, 18:37:56
от ashifin