Файл robots.txt, вероятно, является недействительным

[Dimitrij]

Собственно создаю отдельную тему,т.к. в другой так и не дождался ответа.

В панели "вебмастер  Гугл" пишется "Файл robots.txt, вероятно, является недействительным". Однако Яндекс видит мой файл и загружает без проблем, а Гугл упoрно не распознает его. В панели вебмастера так же указан статус, что он никогда не загружался. Хотя при анализе "Посмотреть как Гугл бот" показывает, что все в порядке с ним и он его видит. Уже второй месяц так. Почему это может быть?

Сам файл

User-agent: *
Disallow: /bitrix/
Disallow: /search/
Allow: /search/map.php
Disallow: /auth/
Disallow: /auth.php
Disallow: /*?print=
Disallow: /*&print=
Disallow: *print=Y
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*back_url=*
Disallow: /?*
Disallow: /*.zip$
Disallow: /discount/
Disallow: /news/kak-kupit-v-nashem-magazine*
Disallow: /about/
Disallow: /personal/
Disallow: /*error=1

User-agent: Yandex # Правила для поисковика Yandex
Disallow: /bitrix/
Disallow: /search/
Allow: /search/map.php
Disallow: /auth/
Disallow: /auth.php
Disallow: /*?print=
Disallow: /*&print=
Disallow: *print=Y
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*back_url=*
Disallow: /?*
Disallow: /*.zip$
Disallow: /discount/
Disallow: /news/kak-kupit-v-nashem-magazine*
Disallow: /about/
Disallow: /personal/
Disallow: /*error=1
Crawl-delay: 5 # Задает таймаут 5 секунд.

Где копать - может на хостинге или в самом движке? Надеюсь на помощь,т.к. уже иссякли всякие предположения

[Кирилл_Lux]

Сделайте так и будет счастье, зачем Crawl-delay: 5 и разграничение на поисковики это простой вариант, также копайте в сторону присутствия кириллици возможно.

User-agent: *
Disallow: /bitrix/
Disallow: /search/
Disallow: /auth/
Disallow: /auth.php
Disallow: /*?print=
Disallow: /*&print=
Disallow: *print=Y
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*back_url=*
Disallow: /?*
Disallow: /*.zip$
Disallow: /discount/
Disallow: /news/kak-kupit-v-nashem-magazine*
Disallow: /about/
Disallow: /personal/
Disallow: /*error=1
Allow: /search/map.php
Host: ваш сайт (с www либо без www)
Sitemap: "путь к карте сайта"

[Dimitrij]

С кириллицей может еще и так, хотя  она и располагается как комментарий. А вот для Яндекса, надо ведь отдельную инструкцию создавать, чтобы другие роботы не заморачивались с директивой Host, которую они вообще не понимают и могут выдавать какую-нибудь ошибку при обработке. Или я в чем-то не прав?

[Кирилл_Lux]

Ну на моих сайтах такая структура у файла robots проблем не вызывала и yandex и google отлично все понимают за другие на скажу

[MrViper]

Попробуйте создать свой собственный робот.тхт не индексируемые страници поместите как дисаллов а индексируемые как аллов