Файл robots.txt

Автор Назар-ч, 25-07-2018, 11:25:51

« назад - далее »

Назар-чTopic starter

Здравствуйте.
Гугл мне прислал письмо что он не может просканировать вот эту страницу https://five-s.com.ua/cheshskiy-biser-preciosa-no10/  на моем сайте.
Я там понимаю это проблема в файле robots.txt
Вот этот файл. подскажите что закрыто в нем и где мне это открыть?

User-agent: *
Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword

User-agent: Yandex
Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword

Host: http://five-s.com.ua
Sitemap: http://five-s.com.ua/sitemap.xml
  •  


Anton-SEO

С этой страницей не должно быть проблем, попробуйте заново скормить Гуглу.
Зато у вас есть другие.
Вижу, что вы перешли на https. И не все внутренние ссылки перевели на защищенный протокол. На главной по коду 6 внутренних ссылок с http.
А robots.txt у вас ужасно большой, можно сократить его в несколько раз.
Также отмечу, что вот это:

Host: http://five-s.com.ua
Sitemap: http://five-s.com.ua/sitemap.xml

теперь нужно указывать с https

А вот как можно сжать robots:

User-agent: *
Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: *?*
Disallow: *=*
Disallow: *&*

И такой же набор для Яндекса.
САМЫЙ БЫСТРЫЙ ХОСТИНГ! Поддержка отвечает даже ночью! Бесплатно перенесут сайт со старого хостинга, установят SSL сертификат.
Промокод на скидку 10%: anton-seo
  •  


Назар-чTopic starter

спасибо вам огромное
  •  

Надежда Хачатурова

Цитата: Anton-SEO от 25-07-2018, 12:49:28Host: http://five-s.com.ua
И это убрать, так понимаю?

Аудит и оптимизация сайтов
Хостинг - надежный, SSL - бесплатный
  •  

Назар-чTopic starter

Цитата: Надежда Хачатурова от 25-07-2018, 16:13:04
И это убрать, так понимаю?

я просто поменял Host: http://five-s.com.ua на Host: https://five-s.com.ua
Так будет корректно?
  •  


Надежда Хачатурова

Назар-ч, Яндекс упразднил эту директиву. У Вас же стоит редирект на https, надеюсь? Убирайте совсем host. Лишняя строка.
Аудит и оптимизация сайтов
Хостинг - надежный, SSL - бесплатный
  •  

Назар-чTopic starter

Спасибо всем за ваши ответы.
  •  

alexakap

Цитата: Anton-SEO от 25-07-2018, 12:49:28А вот как можно сжать robots:

User-agent: *
Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: *?*
Disallow: *=*
Disallow: *&*

И такой же набор для Яндекса.


Смело. А Вы выгрузили все ссылки с сайта ТС, чтобы давать такие кардинальные настройки роботса?
Например, у ТС на сайте есть категория таким урлом
https://five-s.com.ua/index.php?route=product/category&path=33_230
Сейчас, благодаря Вашим советам, она оказалась закрыта
  •  


Надежда Хачатурова

Цитата: alexakap от 15-08-2018, 16:04:44И такой же набор для Яндекса.
А Яндекс понимает и первый набор, со звездочкой.

Аудит и оптимизация сайтов
Хостинг - надежный, SSL - бесплатный
  •