Сегодня мы обновили наши технические рекомендации (http://goo.gl/H6NcjI), чтобы подчеркнуть, что роботу Googlebot необходимо открыть доступ к изображениям и файлам JavaScript и CSS, используемым на ваших страницах.
Недавно мы объявили о том, что система индексации Google отображает веб-страницы всё более подобно обычному современному браузеру со включенными CSS и JavaScript. Поэтому запрет на скaнирование файлов JavaScript или CSS в robots.txt вашего сайта напрямую мешает нашим алгоритмам визуализировать и индексировать ваш контент, что может сказаться и на ранжировании.
Ознакомьтесь с обновленными рекомендациями для веб-мастеров: http://goo.gl/H6NcjI
пруф (https://plus.google.com/u/0/+GoogleWebmasters/posts/YNHKsCVPPXq?cfem=1)
ЦитироватьЧтобы робот Googlebot правильно распознавал содержание сайта, откройте ему доступ ко всем ресурсам, например файлам CSS и JavaScript.
Система индексирования Google обрабатывает HTML-код веб-страницы и все ее составляющие, такие как изображения, файлы CSS и JavaScript.
Чтобы просмотреть ресурсы страницы, недоступные для скaнирования роботом Googlebot, и прoтестировать инструкции в файле robots.txt, используйте рaзделы Просмотреть как Googlebot и Инструмент проверки файла robots.txt в Инструментах для веб-мастеров
Как они собираются интерпретировать полученные данные, как думаете?
Пойду проверять роботс на сайтах. Константин, Вам огромное спасибо
Добавлено: 28-10-2014, 15:24:19
Друзья, у кого сайты на wordpress и joomla, обратите на эту новость внимания, и проверьте свои robots.txt
у себя на 1 из wp нашел проблему
Цитата: davidExl от 28-10-2014, 11:51:08
Друзья, у кого сайты на wordpress и joomla, обратите на эту новость внимания, и проверьте свои robots.txt
у себя на 1 из wp нашел проблему
Можно немного конкретнее: какого рода могут возникнуть проблемы? К примеру, какая одна проблема была найдена?
Блин, то закрой CSS, что бы роботу лишнего не пихать, то открой CSS...Вроде броузер визуализацией занимается? Гуглю это зачем?
Не знаю не знаю, css не закрывал и js тем более....
Нигде не видел, что бы закрывали доступ к файлам и js, да и вообще не понимаю как их можно закрыть :D
Говорит что всё заблoкировано((( А как открыть доступ? Кто знает?
Читаем как работать в robots.txt, ищем и удаляем строки (примеры):
Disallow: /*.js
Disallow: /*.css
Disallow: /css/
Disallow: /js/
Disallow: /upload/
В общем смотрим где лежат файлы подключаемые в шаблоне, и проверяем соответствующие запреты в роботсе.
вот это новость!
У кого стоит DLE, можете не волноваться, всё настроено правильно.
Это в принципе логично, только меня немного смутило название топика: "
Googlebot теперь скaнирует CSS и JavaScript" - а разве раньше боты не скaнировали скрипты?
Помните те "черные" времена когда ключики сливали с цветом фона?
Мне кажется, что даже если и закрыть доступ к скриптам, то боты все-равно будут их читать, а вполне возможно что это только быстрее привлечет их внимание...
Цитата: Kylaksizov от 03-11-2014, 08:28:14
Нигде не видел, что бы закрывали доступ к файлам и js, да и вообще не понимаю как их можно закрыть :D
некоторые CMS по умолчанию ограничивают доступ к скриптам...
В роботс есть такая запись: Disallow: /catalog (лежат все стили)
И если опираясь на эту информацию:
Цитата: earnkz от 03-11-2014, 11:12:35
Читаем как работать в robots.txt, ищем и удаляем строки (примеры):
Disallow: /*.js
Disallow: /*.css
Disallow: /css/
Disallow: /js/
Disallow: /upload/
В общем смотрим где лежат файлы подключаемые в шаблоне, и проверяем соответствующие запреты в роботсе.
Создаём нечто эдакое:
allow: /*.js
allow: /*.css
allow: /css/
allow: /js/
Поможет ли это?
tuzmich, В вашем случае поможет такой код:
Disallow: /catalog
Allow: /catalog/*.js
Allow: /catalog/*.css
В Яндексе удобно проверять и настраивать роботс (в списке URL указываем прямые ссылки на .js и .css) - http://webmaster.yandex.ru/robots.xml
earnkz, благодаря Вашей подсказке и настоятельным матам со стороны гугло-бота, образовалась такая масса:
Disallow: /catalog
Allow: /catalog/*.js
Allow: /catalog/*.css
Allow: /catalog/*.png
Allow: /catalog/*.jpg
Allow: /catalog/*.gif
Allow: /image/cache/*.png
Allow: /image/cache/*.jpg
Allow: /image/cache/*.gif
Сие, бот радостно проглотил и сказал что теперь доволен)))
Большое спасибо за помощь!!!
Надеюсь описанное поможет бедолагам вроде меня)))
P.S. - движок ocStore
Получается теперь ссылку через JavaScript не спрячешь? Хотя говорять вроде гугл уже до этого умел определять редирект через JavaScript.
Цитата: [Константин] от 28-10-2014, 11:28:50Как они собираются интерпретировать полученные данные, как думаете?
Возможно получить больше информации о юзабилити - размер шрифта, контрастность с фоном, межстрочные интервалы, насколько отличаются характеристики шрифта для разных блоков на странице.
Возможно выявление методов, за использование которых возможна пессимизация. Например в стилях для H1, H2 описать нежирный шрифт с размером 12px, то есть, по сути, показать заголовки поисковику, но скрыть их от посетителей (эдакий клоакинг).
Еще, возможно, обнаружить участки когда, скрытые с помощью js.
получается надо открыть абсолютно каждый css и js, о которых есть упоминание на страницах? В joomle почти каждое расширение подтягивает как-либо свой файл стилей либо скриптов из как-то своей подпапки
???
Цитата: earnkz от 03-11-2014, 12:46:20
tuzmich, В вашем случае поможет такой код:
Disallow: /catalog
Allow: /catalog/*.js
Allow: /catalog/*.css
В Яндексе удобно проверять и настраивать роботс (в списке URL указываем прямые ссылки на .js и .css) - http://webmaster.yandex.ru/robots.xml
А не проще просто убрать необходимые Dissalow? Не будет запрета - будет скaнировать?
Цитата: tuzmich от 03-11-2014, 14:39:44
earnkz, благодаря Вашей подсказке и настоятельным матам со стороны гугло-бота, образовалась такая масса:
Disallow: /catalog
Allow: /catalog/*.js
Allow: /catalog/*.css
Allow: /catalog/*.png
Allow: /catalog/*.jpg
Allow: /catalog/*.gif
Allow: /image/cache/*.png
Allow: /image/cache/*.jpg
Allow: /image/cache/*.gif
Сие, бот радостно проглотил и сказал что теперь доволен)))
Большое спасибо за помощь!!!
Надеюсь описанное поможет бедолагам вроде меня)))
P.S. - движок ocStore
А не проще просто убрать необходимые Dissalow? Не будет запрета - будет скaнировать?
Цитата: poparim от 04-11-2014, 07:18:50А не проще просто убрать необходимые Dissalow? Не будет запрета - будет скaнировать?
Ну так это от ваших целей зависит. Если вам нужно, чтобы роботы скaнировали все что в папке catalog, то убирайте тогда Dissalow.
Цитата: poparim от 04-11-2014, 07:18:50А не проще просто убрать необходимые Dissalow? Не будет запрета - будет скaнировать?
Чуть выше я писал, что можно просто директивы запрета удалить, но каждый сам для себя выбирает верный вариант. К примеру если в папке кроме скриптов и стилей нет других файлов, то конечно проще просто убрать общий запрет, но к примеру в OpenCart (у tuzmich), в папке catalog куча файлов шаблонов .php и .tpl, которые вряд ли попадут в индекс без запрета, но так наверно лучше спится))
Цитата: vold57 от 04-11-2014, 07:49:50
Ну так это от ваших целей зависит. Если вам нужно, чтобы роботы скaнировали все что в папке catalog, то убирайте тогда Dissalow.
Упс. Не обратил внимание на то что сам каталог закрыт)
Цитата: earnkz от 04-11-2014, 07:55:39
Чуть выше я писал, что можно просто директивы запрета удалить, но каждый сам для себя выбирает верный вариант. К примеру если в папке кроме скриптов и стилей нет других файлов, то конечно проще просто убрать общий запрет, но к примеру в OpenCart (у tuzmich), в папке catalog куча файлов шаблонов .php и .tpl, которые вряд ли попадут в индекс без запрета, но так наверно лучше спится))
Да конечно, я поторопился)
borro, по логике Google - да
Цитата: [Константин] от 04-11-2014, 18:46:50
borro, по логике Google - да
спасибо!
Константин, а есть какой способ в вебмастере определить все ресурсы(картинки, js, css) который на текущий момент закрыты от гуглобота? Пробежав глазами по коду можно не всё учесть
Цитата: [Константин] от 04-11-2014, 18:46:50
borro, по логике Google - да
спасибо!
Константин, а есть какой способ в вебмастере определить все ресурсы(картинки, js, css), которые на текущий момент закрыты от гуглобота? Пробежав глазами по коду, можно не всё учесть
Добавлено: 05-11-2014, 10:42:50
Цитата: [Константин] от 04-11-2014, 18:46:50
borro, по логике Google - да
Спасибо!
Константин, попробовал проверить эту картинку шапки сайта (http://www.antilopagold.su/templates/za-mag/images/header_bg.jpg) на доступность - доступна для гуглобота.
Сделал запрос на отображение страницы глазами гуглобота - картинка хедера не видна. В чем причина, вы можете указать?
borro, когда выбираете параметр "посмотреть как Googlebot" с параметром "скaнировать и отобразить" - получаете все результаты с ошибками.
borro, когда выбираете параметр "посмотреть как Googlebot" с параметром "скaнировать и отобразить" - получаете все результаты с ошибками.
Цитата: borro от 05-11-2014, 10:28:56Константин, попробовал проверить эту картинку шапки сайта на доступность - доступна для гуглобота.
Сделал запрос на отображение страницы глазами гуглобота - картинка хедера не видна. В чем причина, вы можете указать?
Вы очень настойчиво убегаете от чего-то более важного в сторону надуманных проблем:
(https://leto17h.storage.yandex.net/rdisk/79d2263cf71901cf611480985227a136/mpfs/TnJtwXQjjkRq3EHISYMWU5nLhLm7mraxQj7YTwFuqESj81--RhmEgRYFL0QD49lV_Us73fLH206jVD_XxScleQ==?uid=0&filename=antilopa.jpg&disposition=inline&hash=&limit=0&content_type=image%2Fjpeg&rtoken=13b4e5aec5d1f2f3b8cd50e4954f7cc7&rtimestamp=5459ea2a&force_default=no)
Цитата: vold57 от 05-11-2014, 11:15:03
Вы очень настойчиво убегаете от чего-то более важного в сторону надуманных проблем:
Здравствуйте. Вы про корявый шрифт?
Цитата: borro от 05-11-2014, 12:07:56Здравствуйте. Вы про корявый шрифт?
Скриншот, который я привел, показывает вам, что Гугл видит изображение в шапке.
Цитата: vold57 от 05-11-2014, 12:12:36
Скриншот, который я привел, показывает вам, что Гугл видит изображение в шапке.
вот принтскрин из вебмастера
Цитата: borro от 05-11-2014, 12:25:12вот принтскрин из вебмастера
и однако в кеше изображение есть - наивно думать что закрытые тегами\в роботсе файлы\ссылки боты не просматривают: что там интересненького от нас прячут )))
Не стоит уделять всё внимание настройке индексации CSS и JavaScript.
Достаточно просто открыть гуглоботу доступ к ним.
дoказательств сильного влияния на выдачу этих факторов нет.
Время гораздо эффективнее вложить в контент.
Цитата: DenPavlov от 05-11-2014, 12:32:31и однако в кеше изображение есть - наивно думать что закрытые тегами\в роботсе файлы\ссылки боты не просматривают: что там интересненького от нас прячут )))
Так изображение в шапке открыто в роботсе. Не вижу вообще проблемы и необходимости тратить на это время.
на втором Wordpress-сайте вообще нет никакого robots. Кто же тогда не даёт гуглоботу доступа к файлу имя-домена/wp-includes/js/jquery/jquery.js?ver=1.11.0
?
Мне вот интересно, а Яше не покажется открытый CSS - лишним мусором? А?
Добавлено: 05-11-2014, 20:35:31
Цитата: borro от 05-11-2014, 12:25:12
вот принтскрин из вебмастера
у меня гуглбот по-моему всегда выполняет "частично")
Цитата: [Константин] от 05-11-2014, 13:15:34
Не стоит уделять всё внимание настройке индексации CSS и JavaScript.
Достаточно просто открыть гуглоботу доступ к ним.
дoказательств сильного влияния на выдачу этих факторов нет.
Время гораздо эффективнее вложить в контент.
И в скорость загрузки сайта. Не знаю, совпадение или нет, но как только оптимизировал по pagespeed ( удалось добиться 100 из 100 ) трафик вырос на 30% примерно
Exit, да, Google хорошо учитывает скорость загрузки.
Добрый день!
Вот мой robots.txt http://axis-edu.kz/robots.txt (http://axis-edu.kz/robots.txt) полет нормальный. joomla 2.5
Google не ругается!
Может кто нибудь показать на недочеты?
Цитата: poparim от 05-11-2014, 20:32:46Мне вот интересно, а Яше не покажется открытый CSS - лишним мусором? А?
Для яши есть User-agent: Yandex
Спасибо, про robots я в курсе...
Очень хорошо расписана эта проблема в статье http://seoprofy.ua/blog/optimizaciya-sajtov/googlebot-css-js (http://seoprofy.ua/blog/optimizaciya-sajtov/googlebot-css-js)
Мне кажется, там есть чему поучиться.
Цитата: [Константин] от 28-10-2014, 11:28:50Как они собираются интерпретировать полученные данные, как думаете?
Google будет использовать эту дополнительную информацию для улучшения понимания структуры, дизайна и функциональности сайтов, что позволит более точно определять релевантность и качество контента. Вероятно, при ранжировании будут учитываться факторы, связанные с визуальным представлением страницы, такие как корректное отображение элементов и оптимизация загрузки.
Mожно предположить, что Google стремится к более глубокому анализу веб-страниц, используя все доступные ресурсы.