Google о крупных файлах robots.txt

Автор Тема: Google о крупных файлах robots.txt  (Прочитано 2366 раз)

Оффлайн Владимир75Автор темы

  • Администратор
  • Бизнес оценка: (4, 100%)
  • *****
  • СПАСИБО: 7358
  • Сообщений: 10948
  • Карма: 654
  • Пол: Мужской
  • Это я такой уже старый
  • Награды Гроссмейстер поисковой оптимизации SEO Профессионал Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
    • Оптимизация и Продвижение

Оффлайн Владимир75Автор темы

  • Администратор
  • *****
  • Доп. информация
    • Бизнес оценка: (4, 100%)
    • СПАСИБО: 7358
    • Сообщений: 10948
    • Карма: 654
    • Пол: Мужской
    • Это я такой уже старый
    • Награды Гроссмейстер поисковой оптимизации SEO Профессионал Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
      • Оптимизация и Продвижение

<a href="http://www.youtube.com/watch?v=GZ_wSeQqPZk" target="_blank">http://www.youtube.com/watch?v=GZ_wSeQqPZk</a>

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер ответил на вопрос о том, как поисковик относится к «сложным» и «огромным» файлам robots.txt.


Речь шла о файле с 1500 строк и множеством директив disallow, количество которых с годами увеличивалось.


По словам Мюллера, большой файл robots.txt напрямую не оказывает негативного влияния на поисковую оптимизацию сайта. Однако его сложно поддерживать, что может приводить к непредвиденным проблемам.


На дополнительный вопрос о том, возможны ли проблемы, если не включать Sitemap в robots.txt, Мюллер ответил так:


«Нет, для нас эти разные способы отправки Sitemap эквивалентны».


Далее Мюллер ответил на еще несколько вопросов на эту тему.


«Если радикально сократить файл robots.txt, как это отразиться на SEO? Например, удалить все директивы disallow?». В данном случае директивой disallow закрыты элементы футера и хедера страниц, которые не представляют интереса для пользователей.


По словам Мюллера, сложно сказать наверняка, что произойдет, когда эти фрагменты начнут индексироваться. В данном случае наилучшим решением может быть использование подхода «проб и ошибок». Например, можно открыть для сканирования один из этих фрагментов и посмотреть, что будет происходить в поиске, чтобы понять, является ли это проблемой.


Мюллер отметил, что в robots.txt очень просто что-то заблoкировать, но для поддержки объемных файлов затем нужно много времени, поэтому важно понять, действительно ли эти блoкировки нужны.


Что касается размера, то конкретных рекомендаций у Google нет. У одних сайтов эти файлы большие, у других – маленькие. Главное, чтобы они работали.


Мюллер также напомнил, что у Google есть парсер robots.txt с открытым исходным кодом. Специалисты могут попросить своих разработчиков запустить этот парсер для сайта и проверить, какие URL по факту блокируются, и что это меняет. Таким образом, можно прoтестировать эти URL прежде, чем снимать запрет на индексирование.


Этот парсер доступен на Github.


Оффлайн NickoF84

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 16
  • Сообщений: 46
  • Карма: 1

Оффлайн NickoF84

  • Рекрут
  • *
Re: Google о крупных файлах robots.txt
« Ответ #1 : 27-01-2022, 17:19:26 »

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер ответил на вопрос о том, как поисковик относится к «сложным» и «огромным» файлам robots.txt.


Спасибо большое за новость. Всегда интересовал вопрос по поводу длинны robots.txt. Теперь более-менее всё разъяснилось.


 

Похожие темы

  Тема / Автор Ответов Последний ответ
1 Ответов
1644 Просмотров
Последний ответ 09-03-2012, 21:17:49
от Владимир75
2 Ответов
1219 Просмотров
Последний ответ 11-03-2012, 08:43:27
от CLASSIK
5 Ответов
2992 Просмотров
Последний ответ 15-02-2013, 09:35:54
от tureg1
13 Ответов
2869 Просмотров
Последний ответ 21-07-2014, 15:00:42
от bastonc
4 Ответов
1654 Просмотров
Последний ответ 04-12-2015, 00:13:59
от Вадим Костин