Инструмент проверки файла robots.txt в Google

Автор Вадим Костин, 03-12-2015, 13:23:08

« назад - далее »

Вадим КостинTopic starter

Ребята привет! При проверке любого url адреса сайта в инструменте проверки файла robots.txt в Google пишет что адрес недоступен и выводит директиву Disallow: *openstat* .

Но в проверяемом url такого параметра openstat нет.

В яндексе проблем не возникает.

Что с Google? Кому знакома данная проблема?


vold57

Вадим Костин, попробуйте вместо звездочек слеши использовать:
Disallow: /openstat/


Вадим КостинTopic starter

#2
Неделю назад все работало, параметр *openstat*  уже давно в robots.txt 


Сделал так:
/openstat/

Теперь происходит конфликт с директивой Disallow: *utm*





Добавлено: 03-12-2015, 15:28:39


Вот сам код

User-Agent: *
Disallow: */rasprodazha_
Disallow: /rasprodazha
Disallow: /catalog.php
Disallow: /*?PAGE_ELEMENT_COUNT=
Disallow: */compare
Disallow: /index_inc.php
Disallow: /*by=*
Disallow: /*?by=*
Disallow: /*?q=*
Disallow: /_sect_ban.php
Disallow: /*/_sect_ban.php
Disallow: /*sect_ban.php*
Disallow: /*/?PAGEN_1=*
Disallow: /*/*order=*
Disallow: /bitrix/
Disallow: /search/
Disallow: /club/search/
Disallow: /club/group/search/
Disallow: /club/forum/search/
Disallow: /communication/forum/search/
Disallow: /communication/blog/search.php
Disallow: /club/gallery/tags/
Disallow: /examples/my-components/
Disallow: /examples/download/download_private/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /communication/forum/user/
Disallow: /e-store/paid/detail.php
Disallow: /e-store/affiliates/
Disallow: /club/$
Disallow: /club/messages/
Disallow: /club/log/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /*/search/
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*index.php$
Disallow: /*?arrFilter_P1_MIN=*
Disallow: *.swf
Disallow: /*?manufacturer=
Disallow: /*?arrFilter
Disallow: *openstat*
Disallow: *utm*
Disallow: /callback/
Disallow: /t/
Disallow: /catalog/sect_sidebar.php
Disallow: /desktop_app/headers.php
Disallow: /include/
Disallow: /rasprodazha/sect_sidebar.php
Disallow: /sect_search.php
Disallow: /forma-zayavki-na-poseshchenie-fabriki.php
Disallow: /*storage.php
Disallow: /*disk.ajax.php
Disallow: /*file.ajax.php
Disallow: /*call.ajax.php
Disallow: /index_brands.php
Disallow: /b2p-callback.php
Disallow: /*?ajax_buy=
Disallow: /*options.ajax.php*
Disallow: /*500.html*
Disallow: /login/
Disallow: /*MAX=&arrFilter*
Disallow: /*brands*
Disallow: /*?clear_cache=Y*
Disallow: /guaranty/oferta.php
Disallow: /*?view=bar*
Disallow: /*?view=price_list*
Disallow: /catalog/sect_tel.php
Disallow: /reviews/
Disallow: /sales/
Disallow: /service/zayav.php
Disallow: /store/
Disallow: /contacts/?ID=12
Disallow: /*filter*

Добавлено: 03-12-2015, 16:20:39


Сделал так

Disallow: /*openstat*
Disallow: /*utm*
Disallow: /*.swf

Теперь все работает. Теперь вопрос почему раньше все работало?

vold57

Цитата: Вадим Костин от 03-12-2015, 15:27:43Теперь все работает. Теперь вопрос почему раньше все работало?
Есть синтаксис, который нужно соблюдать. Необязательно все помнить наизусть, особенно, при условии, что есть инструмент, в котором можно все сразу проверять. Если бы инструментов у Гугла и Яндекса не было, я б уже давно все выучил наизусть, а так необходимости запоминать никакой нет. 
Думаю с директивой *utm* тоже самое можно было сделать - использовать слеши. Но раз уже все заработало, то и слава...  :)



Вадим КостинTopic starter

Да понятно что синтаксис есть, неделю назад все работало. И в Яндексе почему-то проблем не возникает. Я кстати один / поставил после disallow: /*openstat*