Инструмент проверки файла robots.txt в Google

Автор Тема: Инструмент проверки файла robots.txt в Google  (Прочитано 1396 раз)

Оффлайн Вадим КостинАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 178
  • Сообщений: 668
  • Карма: 42
  • Пол: Мужской
  • Награды SEO-специалист продвинутого уровня
    • Просмотр профиля
    • Горные лыжи и сноуборд

Оффлайн Вадим КостинАвтор темы

  • Ветеран
  • *****
Ребята привет! При проверке любого url адреса сайта в инструменте проверки файла robots.txt в Google пишет что адрес недоступен и выводит директиву Disallow: *openstat* .

Но в проверяемом url такого параметра openstat нет.

В яндексе проблем не возникает.

Что с Google? Кому знакома данная проблема?


Онлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5141
  • Сообщений: 7058
  • Карма: 281
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • Просмотр профиля
    • SEO, интернет-маркетинг, сайостроение

Онлайн vold57

  • Мастер
  • *****
Вадим Костин, попробуйте вместо звездочек слеши использовать:
Disallow: /openstat/

Оффлайн Вадим КостинАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 178
  • Сообщений: 668
  • Карма: 42
  • Пол: Мужской
  • Награды SEO-специалист продвинутого уровня
    • Просмотр профиля
    • Горные лыжи и сноуборд

Оффлайн Вадим КостинАвтор темы

  • Ветеран
  • *****
Неделю назад все работало, параметр *openstat*  уже давно в robots.txt 


Сделал так:
/openstat/

Теперь происходит конфликт с директивой Disallow: *utm*





Добавлено: 03-12-2015, 16:28:39

Вот сам код

User-Agent: *
Disallow: */rasprodazha_
Disallow: /rasprodazha
Disallow: /catalog.php
Disallow: /*?PAGE_ELEMENT_COUNT=
Disallow: */compare
Disallow: /index_inc.php
Disallow: /*by=*
Disallow: /*?by=*
Disallow: /*?q=*
Disallow: /_sect_ban.php
Disallow: /*/_sect_ban.php
Disallow: /*sect_ban.php*
Disallow: /*/?PAGEN_1=*
Disallow: /*/*order=*
Disallow: /bitrix/
Disallow: /search/
Disallow: /club/search/
Disallow: /club/group/search/
Disallow: /club/forum/search/
Disallow: /communication/forum/search/
Disallow: /communication/blog/search.php
Disallow: /club/gallery/tags/
Disallow: /examples/my-components/
Disallow: /examples/download/download_private/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /communication/forum/user/
Disallow: /e-store/paid/detail.php
Disallow: /e-store/affiliates/
Disallow: /club/$
Disallow: /club/messages/
Disallow: /club/log/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /*/search/
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*index.php$
Disallow: /*?arrFilter_P1_MIN=*
Disallow: *.swf
Disallow: /*?manufacturer=
Disallow: /*?arrFilter
Disallow: *openstat*
Disallow: *utm*
Disallow: /callback/
Disallow: /t/
Disallow: /catalog/sect_sidebar.php
Disallow: /desktop_app/headers.php
Disallow: /include/
Disallow: /rasprodazha/sect_sidebar.php
Disallow: /sect_search.php
Disallow: /forma-zayavki-na-poseshchenie-fabriki.php
Disallow: /*storage.php
Disallow: /*disk.ajax.php
Disallow: /*file.ajax.php
Disallow: /*call.ajax.php
Disallow: /index_brands.php
Disallow: /b2p-callback.php
Disallow: /*?ajax_buy=
Disallow: /*options.ajax.php*
Disallow: /*500.html*
Disallow: /login/
Disallow: /*MAX=&arrFilter*
Disallow: /*brands*
Disallow: /*?clear_cache=Y*
Disallow: /guaranty/oferta.php
Disallow: /*?view=bar*
Disallow: /*?view=price_list*
Disallow: /catalog/sect_tel.php
Disallow: /reviews/
Disallow: /sales/
Disallow: /service/zayav.php
Disallow: /store/
Disallow: /contacts/?ID=12
Disallow: /*filter*

Добавлено: 03-12-2015, 17:20:39

Сделал так

Disallow: /*openstat*
Disallow: /*utm*
Disallow: /*.swf

Теперь все работает. Теперь вопрос почему раньше все работало?
« Последнее редактирование: 03-12-2015, 17:20:39 от Вадим Костин »

Онлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5141
  • Сообщений: 7058
  • Карма: 281
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • Просмотр профиля
    • SEO, интернет-маркетинг, сайостроение

Онлайн vold57

  • Мастер
  • *****
Теперь все работает. Теперь вопрос почему раньше все работало?
Есть синтаксис, который нужно соблюдать. Необязательно все помнить наизусть, особенно, при условии, что есть инструмент, в котором можно все сразу проверять. Если бы инструментов у Гугла и Яндекса не было, я б уже давно все выучил наизусть, а так необходимости запоминать никакой нет. 
Думаю с директивой *utm* тоже самое можно было сделать - использовать слеши. Но раз уже все заработало, то и слава...  :)



Оффлайн Вадим КостинАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 178
  • Сообщений: 668
  • Карма: 42
  • Пол: Мужской
  • Награды SEO-специалист продвинутого уровня
    • Просмотр профиля
    • Горные лыжи и сноуборд

Оффлайн Вадим КостинАвтор темы

  • Ветеран
  • *****
Да понятно что синтаксис есть, неделю назад все работало. И в Яндексе почему-то проблем не возникает. Я кстати один / поставил после disallow: /*openstat*


 

Похожие темы

  Тема / Автор Ответов Последний ответ
12 Ответов
4485 Просмотров
Последний ответ 28-11-2013, 12:59:16
от SE Ranking
9 Ответов
3312 Просмотров
Последний ответ 02-02-2015, 08:46:43
от Иванов
6 Ответов
1469 Просмотров
Последний ответ 28-01-2016, 16:57:24
от jansen
3 Ответов
4540 Просмотров
Последний ответ 17-10-2016, 20:45:24
от Dogica
17 Ответов
2179 Просмотров
Последний ответ 19-07-2019, 11:31:58
от vold57