Googlebot теперь сканирует CSS и JavaScript

Автор [Константин], 28-10-2014, 11:28:50

« назад - далее »

[Константин]Topic starter

Сегодня мы обновили наши технические рекомендации (http://goo.gl/H6NcjI), чтобы подчеркнуть, что роботу Googlebot необходимо открыть доступ к изображениям и файлам JavaScript и CSS, используемым на ваших страницах.

Недавно мы объявили о том, что система индексации Google отображает веб-страницы всё более подобно обычному современному браузеру со включенными CSS и JavaScript. Поэтому запрет на сканирование файлов JavaScript или CSS в robots.txt вашего сайта напрямую мешает нашим алгоритмам визуализировать и индексировать ваш контент, что может сказаться и на ранжировании.

Ознакомьтесь с обновленными рекомендациями для веб-мастеров: http://goo.gl/H6NcjI

пруф

ЦитироватьЧтобы робот Googlebot правильно распознавал содержание сайта, откройте ему доступ ко всем ресурсам, например файлам CSS и JavaScript.
Система индексирования Google обрабатывает HTML-код веб-страницы и все ее составляющие, такие как изображения, файлы CSS и JavaScript.

Чтобы просмотреть ресурсы страницы, недоступные для сканирования роботом Googlebot, и прoтестировать инструкции в файле robots.txt, используйте разделы Просмотреть как Googlebot и Инструмент проверки файла robots.txt в Инструментах для веб-мастеров




Как они собираются интерпретировать полученные данные, как думаете?
  •  


davidExl

#1
Пойду проверять роботс на сайтах. Константин, Вам огромное спасибо

Добавлено: 28-10-2014, 15:24:19


Друзья, у кого сайты на wordpress и joomla, обратите на эту новость внимания, и проверьте свои robots.txt
у себя на 1 из wp нашел проблему


tssergio

Цитата: davidExl от 28-10-2014, 11:51:08

Друзья, у кого сайты на wordpress и joomla, обратите на эту новость внимания, и проверьте свои robots.txt
у себя на 1 из wp нашел проблему

Можно немного конкретнее: какого рода могут возникнуть проблемы? К примеру, какая одна проблема была найдена?
  •  

poparim

Блин, то закрой CSS, что бы роботу лишнего не пихать, то открой CSS...Вроде броузер визуализацией занимается? Гуглю это зачем?

lalmazl

Не знаю не знаю, css не закрывал и js тем более....
5% скидка партнерская. Комиссия на сделки 0.1%. Моментальный вывод.
  •  


Kylaksizov

Нигде не видел, что бы закрывали доступ к файлам и js, да и вообще не понимаю как их можно закрыть :D

tuzmich

Говорит что всё заблoкировано(((  А как открыть доступ? Кто знает?
  •  

earnkz

Читаем как работать в robots.txt, ищем и удаляем строки (примеры):

Disallow: /*.js
Disallow: /*.css
Disallow: /css/
Disallow: /js/
Disallow: /upload/

В общем смотрим где лежат файлы подключаемые в шаблоне, и проверяем соответствующие запреты в роботсе.
Предлагаю: аудит сайтов, внутренняя оптимизация, исправление верстки, мелкие правки PHP кода -> ЛС
  •  


Koza Dereza

  •  


Kylaksizov

У кого стоит DLE, можете не волноваться, всё настроено правильно.