В гугл вместо 106 страниц индексируется 26 страниц. В чем причина?

Автор Pri30, 28-07-2016, 15:00:50

« назад - далее »

Pri30Topic starter

Здравствуйте, помогите пожалуйста разобраться!

Есть сайт. Всего на сайте 106 ссылок. Индексируется 26.

В гугл аддурилку добавляю, но безрезультатно.

Санкций нет, нарущений нет, замечаний по дескрипшинам и тайтлам нет.

НО! В индексе есть страница как  с www так и без. (в Яндексе такого безобразия нет, хотя тоже не все страницы в индексе).

Переадрисация 301 (редирект с www на без www) настроена.

По сути страницы с  www не существует (ошибка 404). НО гугл решил ее где-то найти. И вместо того чтобы индексировать нормальные страницы индексирует несуществующие.


WebHope

Здравствуйте.

Возможно проблема в robots.txt.
Так же желательно и вебмастере гугла указать основной домен.

Вам лучше дать ссылку на сайт, тогда будет больше шансов, что вам ответят.
No one as lucky as us!
  •  


davidExl

Речь идет о сайте в подписи? Если да то там все вроде ок, 316 страниц ТЫЦ

Если речь идет о другом сайте, то пожалуй пора доставать магичесский гадальный шар...

Pri30Topic starter

Цитата: WebHope от 28-07-2016, 15:43:51
Здравствуйте.

Возможно проблема в robots.txt.
Так же желательно и вебмастере гугла указать основной домен.

Вам лучше дать ссылку на сайт, тогда будет больше шансов, что вам ответят.

Извините вот сайт [spoiler]custom-house.org[/spoiler]

Добавлено: 28-07-2016, 22:26:35


Цитата: davidExl от 28-07-2016, 16:51:48
Речь идет о сайте в подписи? Если да то там все вроде ок, 316 страниц ТЫЦ

Если речь идет о другом сайте, то пожалуй пора доставать магичесский гадальный шар...

Надеюсь на вашу помощь сайт [spoiler]custom-house.org[/spoiler]

ВикторияИ

настройте роботс - например зачем вам ограничение для ботов? сильная нагрузка на сервер? - это логичнее решать другими путями. например выбрать нормальный хостинг или тариф...

никогда не понимала зачем в роботсе ставят кучу лишних запретов - надо запрещать только те файлы\папки, до которых бот сможет найти путь...

по поводу
Цитата: Pri30 от 28-07-2016, 15:00:50страницы с  www не существует (ошибка 404)
не очень поняла - ЧТО ЭТО ? )))

также работайте с картой сайта - обновив инфу, приглашайте бота...




Pri30Topic starter

Цитата: ВикторияИ от 29-07-2016, 08:19:13
например зачем вам ограничение для ботов? сильная нагрузка на сервер?
Чтоб не индексировли дубли всякие, фильтры, результаты поиска и прочее.
В индексе сайт выглядит так ""www.сайт/страницы" (но если по ней переходить ошибка 404) и просто "сайт/страницы".


whiteflash

Приветствую!
Далеко не лез, но на мой взгляд у вас редиректы неправильно настроены.
Вот страница из гугла:
www.custom-house.org/en/categories/molochko
C таким title - Молочко | Custom House - custom-house.org
Выдает 404 ошибку, хотя есть страница на сайте http://custom-house.org/categories/molochko с таким же title.
Что касается robots.txt я бы упростил. Еще бы проверил файл htaccess.
  •  

ВикторияИ

Цитата: Pri30 от 29-07-2016, 09:11:24В индексе сайт выглядит так ""www.сайт/страницы" (но если по ней переходить ошибка 404) и просто "сайт/страницы".

дайте код редиректа код htacces - у Вас там ошибка с языками

Цитата: Pri30 от 29-07-2016, 09:11:24Чтоб не индексировли дубли всякие, фильтры, результаты поиска и прочее.

я про Crawl-delay: 10

как например боты смогу найти такие файлы:
[spoiler]Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /INSTALL.sqlite.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
[/spoiler]


Pri30Topic starter

Цитата: ВикторияИ от 29-07-2016, 09:31:39
дайте код редиректа код htacces - у Вас там ошибка с языками

я про Crawl-delay: 10
как например боты смогу найти такие файлы:
[spoiler]Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /INSTALL.sqlite.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
[/spoiler]
Спасибо за ответ.
Я правильно поняла, вообще убрать "Crawl-delay: 10"? Если нет подправьте пожалуйста.
По поводу .htaccess, буду признательна если подскажете в каком месте ошибка, так как не наблюдаю :o :o :o




ВикторияИ

Цитата: Pri30 от 29-07-2016, 09:50:27По поводу .htaccess, буду признательна если подскажете в каком месте ошибка, так как не наблюдаю   

нужен код файла

Цитата: Pri30 от 29-07-2016, 09:50:27Я правильно поняла, вообще убрать ": 10"? Если нет подправьте пожалуйста.


если нет проблем с нагрузкой сервера то не стоит ограничивать бота - смысл в этой директиве?