Файл robots.txt

Автор Тема: Файл robots.txt  (Прочитано 1189 раз)

Оффлайн Назар-чАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 0
  • Сообщений: 39
  • Карма: 0
    • Просмотр профиля

Оффлайн Назар-чАвтор темы

  • Рекрут
  • *
Файл robots.txt
« : 25-07-2018, 11:25:51 »
Здравствуйте.
Гугл мне прислал письмо что он не может просканировать вот эту страницу https://five-s.com.ua/cheshskiy-biser-preciosa-no10/  на моем сайте.
Я там понимаю это проблема в файле robots.txt
Вот этот файл. подскажите что закрыто в нем и где мне это открыть?

User-agent: *
 Disallow: /admin
 Disallow: /cache
 Disallow: /niks
 Disallow: /catalog
 Disallow: /download
 Disallow: /export
 Disallow: /system
 Disallow: /index.php?route=account
 Disallow: /index.php?route=account/account
 Disallow: /index.php?route=checkout/cart
 Disallow: /index.php?route=checkout/shipping
 Disallow: /index.php?route=common/home
 Disallow: /index.php?route=product/product/captcha
 Disallow: /index.php?route=product/product*&manufacturer_id=
 Disallow: /index.php?route=product/search
 Disallow: /index.php?route=information/contact/captcha
 Disallow: /index.php?route=information/information&information_id=
 Disallow: /index.php?route=account/login
 Disallow: /*route=account/
 Disallow: /*route=account/login
 Disallow: /*route=checkout/
 Disallow: /*route=checkout/cart
 Disallow: /*route=affiliate/
 Disallow: /*route=product/search
 Disallow: /*?sort=
 Disallow: /*?sort
 Disallow: /*&sort=
 Disallow: /*?order=
 Disallow: /*?order
 Disallow: /*&order=
 Disallow: /*?limit=
 Disallow: /*&limit=
 Disallow: /*?filter_name=
 Disallow: /*&filter_name=
 Disallow: /*?filter_sub_category=
 Disallow: /*&filter_sub_category=
 Disallow: /*?filter_description=
 Disallow: /*&filter_description=
 Disallow: /*?tracking=
 Disallow: /*&tracking=
 Disallow: /*?manufacturer
 Disallow: /*?keyword

 User-agent: Yandex
 Disallow: /admin
 Disallow: /cache
 Disallow: /niks
 Disallow: /catalog
 Disallow: /download
 Disallow: /export
 Disallow: /system
 Disallow: /index.php?route=account
 Disallow: /index.php?route=account/account
 Disallow: /index.php?route=checkout/cart
 Disallow: /index.php?route=checkout/shipping
 Disallow: /index.php?route=common/home
 Disallow: /index.php?route=product/product/captcha
 Disallow: /index.php?route=product/product*&manufacturer_id=
 Disallow: /index.php?route=product/search
 Disallow: /index.php?route=information/contact/captcha
 Disallow: /index.php?route=information/information&information_id=
 Disallow: /index.php?route=account/login
 Disallow: /*route=account/
 Disallow: /*route=account/login
 Disallow: /*route=checkout/
 Disallow: /*route=checkout/cart
 Disallow: /*route=affiliate/
 Disallow: /*route=product/search
 Disallow: /*?sort=
 Disallow: /*?sort
 Disallow: /*&sort=
 Disallow: /*?order=
 Disallow: /*?order
 Disallow: /*&order=
 Disallow: /*?limit=
 Disallow: /*&limit=
 Disallow: /*?filter_name=
 Disallow: /*&filter_name=
 Disallow: /*?filter_sub_category=
 Disallow: /*&filter_sub_category=
 Disallow: /*?filter_description=
 Disallow: /*&filter_description=
 Disallow: /*?tracking=
 Disallow: /*&tracking=
 Disallow: /*?manufacturer
 Disallow: /*?keyword

Host: http://five-s.com.ua
Sitemap: http://five-s.com.ua/sitemap.xml


Оффлайн Anton-SEO

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 28
  • Сообщений: 82
  • Карма: 5
  • Пол: Мужской
    • Просмотр профиля

Оффлайн Anton-SEO

  • Пользователь
  • **
Re: Файл robots.txt
« Ответ #1 : 25-07-2018, 12:49:28 »
С этой страницей не должно быть проблем, попробуйте заново скормить Гуглу.
Зато у вас есть другие.
Вижу, что вы перешли на https. И не все внутренние ссылки перевели на защищенный протокол. На главной по коду 6 внутренних ссылок с http.
А robots.txt у вас ужасно большой, можно сократить его в несколько раз.
Также отмечу, что вот это:

Host: http://five-s.com.ua
Sitemap: http://five-s.com.ua/sitemap.xml

теперь нужно указывать с https

А вот как можно сжать robots:

User-agent: *
Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: *?*
Disallow: *=*
Disallow: *&*

И такой же набор для Яндекса.
САМЫЙ БЫСТРЫЙ ХОСТИНГ! Поддержка отвечает даже ночью! Бесплатно перенесут сайт со старого хостинга, установят SSL сертификат.
Промокод на скидку 10%: anton-seo

Оффлайн Назар-чАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 0
  • Сообщений: 39
  • Карма: 0
    • Просмотр профиля

Оффлайн Назар-чАвтор темы

  • Рекрут
  • *
Re: Файл robots.txt
« Ответ #2 : 25-07-2018, 13:54:55 »
спасибо вам огромное

Оффлайн Надежда Хачатурова

  • Бизнес оценка: (11, 100%)
  • КМС
  • *****
  • СПАСИБО: 3520
  • Сообщений: 3908
  • Карма: 451
  • Пол: Женский
  • Аудит, seo-оптимизации
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации SEO-специалист
    • Просмотр профиля
    • Блог Надежды Хачатуровой
  • Доп. информация
    • Бизнес оценка: (11, 100%)
    • СПАСИБО: 3520
    • Сообщений: 3908
    • Карма: 451
    • Пол: Женский
    • Аудит, seo-оптимизации
    • Награды Более трех тысяч спасибо Мастер поисковой оптимизации SEO-специалист
      • Просмотр профиля
      • Блог Надежды Хачатуровой
Re: Файл robots.txt
« Ответ #3 : 25-07-2018, 16:13:04 »
Host: http://five-s.com.ua
И это убрать, так понимаю?

Аудит и оптимизация сайтов
Хостинг, который не подведет

Оффлайн Назар-чАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 0
  • Сообщений: 39
  • Карма: 0
    • Просмотр профиля

Оффлайн Назар-чАвтор темы

  • Рекрут
  • *
Re: Файл robots.txt
« Ответ #4 : 25-07-2018, 16:49:36 »
И это убрать, так понимаю?

я просто поменял Host: http://five-s.com.ua на Host: https://five-s.com.ua
Так будет корректно?


Оффлайн Надежда Хачатурова

  • Бизнес оценка: (11, 100%)
  • КМС
  • *****
  • СПАСИБО: 3520
  • Сообщений: 3908
  • Карма: 451
  • Пол: Женский
  • Аудит, seo-оптимизации
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации SEO-специалист
    • Просмотр профиля
    • Блог Надежды Хачатуровой
  • Доп. информация
    • Бизнес оценка: (11, 100%)
    • СПАСИБО: 3520
    • Сообщений: 3908
    • Карма: 451
    • Пол: Женский
    • Аудит, seo-оптимизации
    • Награды Более трех тысяч спасибо Мастер поисковой оптимизации SEO-специалист
      • Просмотр профиля
      • Блог Надежды Хачатуровой
Re: Файл robots.txt
« Ответ #5 : 25-07-2018, 17:02:06 »
Назар-ч, Яндекс упразднил эту директиву. У Вас же стоит редирект на https, надеюсь? Убирайте совсем host. Лишняя строка.
Аудит и оптимизация сайтов
Хостинг, который не подведет

Оффлайн Назар-чАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 0
  • Сообщений: 39
  • Карма: 0
    • Просмотр профиля

Оффлайн Назар-чАвтор темы

  • Рекрут
  • *
Re: Файл robots.txt
« Ответ #6 : 15-08-2018, 15:08:30 »
Спасибо всем за ваши ответы.

Онлайн alexakap

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 91
  • Сообщений: 299
  • Карма: 14
  • Пол: Мужской
    • Просмотр профиля

Онлайн alexakap

  • Старожил
  • ****
Re: Файл robots.txt
« Ответ #7 : 15-08-2018, 16:04:44 »
А вот как можно сжать robots:

User-agent: *
Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: *?*
Disallow: *=*
Disallow: *&*

И такой же набор для Яндекса.


Смело. А Вы выгрузили все ссылки с сайта ТС, чтобы давать такие кардинальные настройки роботса?
Например, у ТС на сайте есть категория таким урлом
https://five-s.com.ua/index.php?route=product/category&path=33_230
Сейчас, благодаря Вашим советам, она оказалась закрыта

Оффлайн Надежда Хачатурова

  • Бизнес оценка: (11, 100%)
  • КМС
  • *****
  • СПАСИБО: 3520
  • Сообщений: 3908
  • Карма: 451
  • Пол: Женский
  • Аудит, seo-оптимизации
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации SEO-специалист
    • Просмотр профиля
    • Блог Надежды Хачатуровой
  • Доп. информация
    • Бизнес оценка: (11, 100%)
    • СПАСИБО: 3520
    • Сообщений: 3908
    • Карма: 451
    • Пол: Женский
    • Аудит, seo-оптимизации
    • Награды Более трех тысяч спасибо Мастер поисковой оптимизации SEO-специалист
      • Просмотр профиля
      • Блог Надежды Хачатуровой
Re: Файл robots.txt
« Ответ #8 : 15-08-2018, 16:31:18 »
И такой же набор для Яндекса.
А Яндекс понимает и первый набор, со звездочкой.

Аудит и оптимизация сайтов
Хостинг, который не подведет


 

Похожие темы

  Тема / Автор Ответов Последний ответ
1 Ответов
2147 Просмотров
Последний ответ 04-02-2012, 15:01:12
от NeSeo
3 Ответов
1137 Просмотров
Последний ответ 03-06-2014, 17:35:26
от vold57
16 Ответов
5420 Просмотров
Последний ответ 05-09-2015, 03:29:33
от Sky-fi
1 Ответов
601 Просмотров
Последний ответ 12-07-2016, 13:21:07
от davidExl
5 Ответов
595 Просмотров
Последний ответ 31-08-2016, 10:19:01
от Google-master