Google не индексирует сайт dipfo.com - Описание недоступно из-за ограничений...

Автор esteticnois, 22-09-2017, 13:28:23

« назад - далее »

esteticnoisTopic starter

Добрый день, форумчане! Обращаюсь к вам с просьбой помочь в вопросе выяснения причин, почему Google напрочь отказывается индексировать сайт dipfo.com выдавая при этом пояснение, что "Описание недоступно из-за ограничений в файле robots.txt.":

Какие действия были предприняты:
1. Robots.txt был переписан 3 недели назад, главная страница открыта для индексации.
2. В программном коде отсутствуют <meta robots>, а также любые значения noindex и nofollow.
3. Активно ставятся ссылки на сайт с блогов, статей, профилей, а также с twitter.
4. Других явных причин отсутствия индексации не обнаружено, - 10-20 раз сайт был отправлен на повторную переиндексацию через панель Google Search Console.
Вопрос: в чем причина, стоит ли ждать апдейта какого в Google, ведь сайт долгое время был закрыт от индексации.


zanuda

Я, конечно, чайнок в роботсах, но разве директива Disallow: /index.php не "сообщает", ботам, что главную странцу не надо краулить?!? (в вашем случае эти точно не index.html, потому как оттуда автоматом перекидывает на index.php)
  •  


esteticnoisTopic starter

Disallow: /index.php - закрыть все страницы, начинающиеся с index.php. Если бы надо было закрыть главную то было бы Disallow: / . В любом случае, спасибо за ответ, я обращу внимание  на этот факт.

Coder

Цитата: esteticnois от 22-09-2017, 13:28:23помочь в вопросе выяснения причин
Смотрим заголовки:

HTTP/1.1 200 OK
Server: nginx
Date: Fri, 22 Sep 2017 13:44:14 GMT
Content-Type: text/html; charset=UTF-8
Connection: keep-alive
Keep-Alive: timeout=60
X-Powered-By: PHP/5.6.30
Set-Cookie: ocuyvmw7roqo=22n1c5vlf9rotv291geh714dn5; path=/; HttpOnly
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Strict-Transport-Security: max-age=0
X-XSS-Protection: 1; mode=block
X-Content-Type-Options: nosniff
Content-Security-Policy:
X-Robots-Tag: none


А теперь) последнюю инструкцию - что означает:
none  -> Equivalent to noindex, nofollow
none -> Аналогично метатегам noindex, nofollow



Описание метатега robots и HTTP-заголовка X-Robots-Tag  _https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag?hl=ru
Robots meta tag and X-Robots-Tag HTTP header specifications _https://developers.google.com/search/reference/robots_meta_tag








Coder

Цитата: esteticnois от 22-09-2017, 17:19:58Спасибо вам большое!
)Пожалуйста

PS  Для большей защищенности стоит убрать отображение X-Powered-By: PHP/5.6.30