Googlebot теперь сканирует CSS и JavaScript

Автор Тема: Googlebot теперь сканирует CSS и JavaScript  (Прочитано 16960 раз)

Оффлайн DenPavlov

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 165
  • Сообщений: 235
  • Карма: 15
  • Пол: Мужской
  • Награды SEO-специалист
    • Просмотр профиля
    • Полезные статьи на медицинскую тематику

Оффлайн DenPavlov

  • Постоялец
  • ***
Re: Googlebot теперь сканирует CSS и JavaScript
« Ответ #10 : 03-11-2014, 13:24:09 »
Это в принципе логично, только меня немного смутило название топика: "Googlebot теперь сканирует CSS и JavaScript" - а разве раньше боты не сканировали скрипты?

Помните те "черные" времена когда ключики сливали с цветом фона?

Мне кажется, что даже если и закрыть доступ к скриптам, то боты все-равно будут их читать, а вполне возможно что это только быстрее привлечет их внимание...

Нигде не видел, что бы закрывали доступ к файлам и js, да и вообще не понимаю как их можно закрыть :D

некоторые CMS по умолчанию ограничивают доступ к скриптам...


Оффлайн tuzmich

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 7
  • Карма: 0
  • Пол: Мужской
    • Просмотр профиля

Оффлайн tuzmich

  • Дебютант
  • *
Re: Googlebot теперь сканирует CSS и JavaScript
« Ответ #11 : 03-11-2014, 13:28:12 »
В роботс есть такая запись: Disallow: /catalog (лежат все стили)

И если опираясь на эту информацию:

Читаем как работать в robots.txt, ищем и удаляем строки (примеры):

Disallow: /*.js
Disallow: /*.css
Disallow: /css/
Disallow: /js/
Disallow: /upload/

В общем смотрим где лежат файлы подключаемые в шаблоне, и проверяем соответствующие запреты в роботсе.

Создаём нечто эдакое:

allow: /*.js
allow: /*.css
allow: /css/
allow: /js/

Поможет ли это?

Оффлайн earnkz

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 14
  • Сообщений: 49
  • Карма: 2
  • Пол: Мужской
    • Просмотр профиля
    • Эффективные партнерские программы

Оффлайн earnkz

  • Рекрут
  • *
Re: Googlebot теперь сканирует CSS и JavaScript
« Ответ #12 : 03-11-2014, 13:46:20 »
tuzmich, В вашем случае поможет такой код:

Disallow: /catalog
Allow: /catalog/*.js
Allow: /catalog/*.css

В Яндексе удобно проверять и настраивать роботс (в списке URL указываем прямые ссылки на .js и .css) - http://webmaster.yandex.ru/robots.xml
Предлагаю: аудит сайтов, внутренняя оптимизация, исправление верстки, мелкие правки PHP кода -> ЛС

Оффлайн tuzmich

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 7
  • Карма: 0
  • Пол: Мужской
    • Просмотр профиля

Оффлайн tuzmich

  • Дебютант
  • *
Re: Googlebot теперь сканирует CSS и JavaScript
« Ответ #13 : 03-11-2014, 15:39:44 »
earnkz, благодаря Вашей подсказке и настоятельным матам со стороны гугло-бота, образовалась такая масса:

Disallow: /catalog
Allow: /catalog/*.js
Allow: /catalog/*.css
Allow: /catalog/*.png
Allow: /catalog/*.jpg
Allow: /catalog/*.gif
Allow: /image/cache/*.png
Allow: /image/cache/*.jpg
Allow: /image/cache/*.gif

Сие, бот радостно проглотил и сказал что теперь доволен)))
Большое спасибо за помощь!!!
Надеюсь описанное поможет бедолагам вроде меня)))
P.S. - движок  ocStore

Оффлайн bitnik_57

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 4
  • Сообщений: 22
  • Карма: 0
    • Просмотр профиля
    • Осноы электроники

Оффлайн bitnik_57

  • Рекрут
  • *
Re: Googlebot теперь сканирует CSS и JavaScript
« Ответ #14 : 03-11-2014, 16:04:28 »
Получается теперь ссылку через JavaScript не спрячешь? Хотя говорять вроде гугл уже до этого умел определять редирект через JavaScript.


Оффлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5108
  • Сообщений: 7012
  • Карма: 280
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • Просмотр профиля
    • SEO, интернет-маркетинг, сайостроение

Оффлайн vold57

  • Мастер
  • *****
Re: Googlebot теперь сканирует CSS и JavaScript
« Ответ #15 : 03-11-2014, 16:41:44 »
Как они собираются интерпретировать полученные данные, как думаете?
Возможно  получить больше информации о юзабилити - размер шрифта, контрастность с фоном, межстрочные интервалы, насколько отличаются характеристики шрифта для разных блоков на странице.
Возможно выявление методов, за использование которых возможна пессимизация. Например в стилях для H1, H2 описать нежирный шрифт с размером 12px, то есть, по сути, показать заголовки поисковику, но скрыть их от посетителей (эдакий клоакинг).
Еще, возможно, обнаружить участки когда, скрытые с помощью js.

Оффлайн borro

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 135
  • Сообщений: 526
  • Карма: 19
  • Пол: Мужской
  • желаю вам счастья
    • Просмотр профиля
    • Для тех, кому нужен работающий и помогающий сайт

Оффлайн borro

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 135
    • Сообщений: 526
    • Карма: 19
    • Пол: Мужской
    • желаю вам счастья
      • Просмотр профиля
      • Для тех, кому нужен работающий и помогающий сайт
Re: Googlebot теперь сканирует CSS и JavaScript
« Ответ #16 : 03-11-2014, 17:15:22 »
получается надо открыть абсолютно каждый css и js, о которых есть упоминание на страницах? В joomle почти каждое расширение подтягивает как-либо свой файл стилей либо скриптов из как-то своей подпапки
???

Оффлайн poparim

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 14
  • Сообщений: 83
  • Карма: 2
  • Пол: Мужской
  • Был в России. Них.. не понял!
    • Просмотр профиля
    • Сауна Берлога Красноярск

Оффлайн poparim

  • Пользователь
  • **
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 14
    • Сообщений: 83
    • Карма: 2
    • Пол: Мужской
    • Был в России. Них.. не понял!
      • Просмотр профиля
      • Сауна Берлога Красноярск
Re: Googlebot теперь сканирует CSS и JavaScript
« Ответ #17 : 04-11-2014, 08:15:33 »
tuzmich, В вашем случае поможет такой код:

Disallow: /catalog
Allow: /catalog/*.js
Allow: /catalog/*.css

В Яндексе удобно проверять и настраивать роботс (в списке URL указываем прямые ссылки на .js и .css) - http://webmaster.yandex.ru/robots.xml
А не проще просто убрать необходимые Dissalow? Не будет запрета - будет сканировать?

Оффлайн poparim

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 14
  • Сообщений: 83
  • Карма: 2
  • Пол: Мужской
  • Был в России. Них.. не понял!
    • Просмотр профиля
    • Сауна Берлога Красноярск

Оффлайн poparim

  • Пользователь
  • **
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 14
    • Сообщений: 83
    • Карма: 2
    • Пол: Мужской
    • Был в России. Них.. не понял!
      • Просмотр профиля
      • Сауна Берлога Красноярск
Re: Googlebot теперь сканирует CSS и JavaScript
« Ответ #18 : 04-11-2014, 08:18:50 »
earnkz, благодаря Вашей подсказке и настоятельным матам со стороны гугло-бота, образовалась такая масса:

Disallow: /catalog
Allow: /catalog/*.js
Allow: /catalog/*.css
Allow: /catalog/*.png
Allow: /catalog/*.jpg
Allow: /catalog/*.gif
Allow: /image/cache/*.png
Allow: /image/cache/*.jpg
Allow: /image/cache/*.gif

Сие, бот радостно проглотил и сказал что теперь доволен)))
Большое спасибо за помощь!!!
Надеюсь описанное поможет бедолагам вроде меня)))
P.S. - движок  ocStore
А не проще просто убрать необходимые Dissalow? Не будет запрета - будет сканировать?


Оффлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5108
  • Сообщений: 7012
  • Карма: 280
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • Просмотр профиля
    • SEO, интернет-маркетинг, сайостроение

Оффлайн vold57

  • Мастер
  • *****
Re: Googlebot теперь сканирует CSS и JavaScript
« Ответ #19 : 04-11-2014, 08:49:50 »
А не проще просто убрать необходимые Dissalow? Не будет запрета - будет сканировать?
Ну так это от ваших целей зависит. Если вам нужно, чтобы роботы сканировали все что в папке catalog, то убирайте тогда Dissalow.



 

Похожие темы

  Тема / Автор Ответов Последний ответ
10 Ответов
5042 Просмотров
Последний ответ 05-01-2014, 19:16:06
от Romeo50505
26 Ответов
6656 Просмотров
Последний ответ 07-08-2014, 09:23:37
от arsenkin
1 Ответов
2764 Просмотров
Последний ответ 14-02-2013, 09:59:31
от eqoist
0 Ответов
1007 Просмотров
Последний ответ 01-04-2013, 13:12:07
от belamiko
0 Ответов
620 Просмотров
Последний ответ 31-01-2015, 06:48:34
от ВикторияИ