Проблема индексации форума на Битрикс

[sergeev955]

Здравствуйте!
Сайту уже больше года, все страницы сайта индексируются нормально, а вот с форумом проблема.
В индекс не попадает ни одна внутренняя страница с форума. при проверке сайта глазами робота пишет ошибку:

Код состояния HTTP:    HTTP/1.1 404 Not Found
Код ошибки клиента Сервер понял запрос, но не нашёл соответствующего ресурса по указанному URI.

Но все странице в браузере открываются нормально и все работает.
Ковырял файл роботс, всячески изменял не помогает.
Вот сам файл:

Код Выделить Развернуть

User-agent: Yandex
Disallow: /bitrix/
Disallow: /search/
Disallow: /auth/
Disallow: /service-pages/
Disallow: /include/
Disallow: /cgi-bin/
Disallow: /personal/
Disallow: /auth.php
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*backurl=*
Disallow: /*back_url=*
Disallow: /*back_url_admin=*
Disallow: /*index.php?set_filter=*
Disallow: /*index.php?sort=*
Disallow: /*index.php?arrFilter*
Disallow: /*?PAGEN
Disallow: /*?count
Disallow: /*?action
Disallow: /access.log
Disallow: /*?set_filter=*
Disallow: /*?q=*
Host: producm.ru
Sitemap: http://producm.ru/sitemap.xml

User-agent: Googlebot
Disallow: /bitrix/
Disallow: /search/
Disallow: /auth/
Disallow: /service-pages/
Disallow: /include/
Disallow: /cgi-bin/
Disallow: /personal/
Disallow: /auth.php
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*backurl=*
Disallow: /*back_url=*
Disallow: /*back_url_admin=*
Disallow: /*index.php?set_filter=*
Disallow: /*index.php?sort=*
Disallow: /*index.php?arrFilter*
Disallow: /*?PAGEN
Disallow: /*?count
Disallow: /*?action
Disallow: /access.log
Disallow: /*?set_filter=*
Disallow: /*?q=*
Sitemap: http://producm.ru/sitemap.xml

В чем может быть причина?

[Cyrus]

sergeev955, сами написали, у вас ответ сервера 404 Not Found, роботам отдается ответ что такой страницы нету, они её не скaнирует и в индексе она не появляется. Это надо не robots.txt смотреть, а настройки сервера.

[sergeev955]

sergeev955, сами написали, у вас ответ сервера 404 Not Found, роботам отдается ответ что такой страницы нету, они её не скaнирует и в индексе она не появляется. Это надо не robots.txt смотреть, а настройки сервера.

Спасибо. А что смотреть, подскажите, пожалуйста

[Cyrus]

sergeev955, да много что можно смотреть, это или в самой cms или в htaccess или в настройках сервера самих. Ещё это можно посмотреть http://www.php.net/manual/ru/function.header.php.

[sergeev955]

Здравствуйте еще раз. С проблемой разобрался, во всем виноват кривой верстальщик.
Теперь еще есть вопрос, помогайте, профессионалы.
Есть сайт на Вордпрес. Все вроде сделал, карту, робот, установил СЕО плагин, настроил ЧПУ.
Но при анализе страниц в Вебмастере, пишет что данная страница дублирует другую страницу и поэтому не индексируется.
Как найти дублирующую страницу и запретить её индексацию?