Seo Форум & ИИ

Поисковая оптимизация => Продвижение сайта => Индексация сайта => Тема начата: Free_smile от 18-08-2014, 14:13:35

Название: Почему? Страницы с товаром не попадают в индекс
Отправлено: Free_smile от 18-08-2014, 14:13:35
 ::)
Всем привет! Кто может объяснить, почему страницы с товаром такие как
http://www.armadamarket.ru/catalog/svet/
http://www.armadamarket.ru/catalog/lyustry-potolochnie-bronza/

не попадают в индекс?

Отдельные странички с одним товаром, оптимизированные, проведенные по соц сетям попадают. А эти основные, на которые я и тексты большие писала не попадают :( Please...
Название: Re: Почему? Страницы с товаром не попадают в индекс
Отправлено: Price от 18-08-2014, 16:00:56
Цитата: Free_smile от 18-08-2014, 14:13:35
http://www.armadamarket.ru/catalog/svet/

запрещен правилом /catalog/svet (robots.txt)

Пересмотрите файл для поисковых систем...
Название: Re: Почему? Страницы с товаром не попадают в индекс
Отправлено: Free_smile от 18-08-2014, 19:43:42
Цитата: Price от 18-08-2014, 16:00:56
запрещен правилом /catalog/svet (robots.txt)

Пересмотрите файл для поисковых систем...

Спасибо за ответ. Но это было единственное правило в роботс. Да и удалила я его сегодня совсем... Ладно, посмотрим что будет дальше
Название: Re: Почему? Страницы с товаром не попадают в индекс
Отправлено: Zahar от 18-08-2014, 20:27:32
Цитата: Free_smile от 18-08-2014, 14:13:35Отдельные странички с одним товаром, оптимизированные, проведенные по соц сетям попадают

приведите пример
Название: Re: Почему? Страницы с товаром не попадают в индекс
Отправлено: Free_smile от 18-08-2014, 21:06:41
Цитата: Zahar от 18-08-2014, 20:27:32
приведите пример

Их около парочки десятков.
Например

http://armadamarket.ru/catalog/bra/bra-s-vyklyuchatelem-zoloto-citilux-314312/

http://armadamarket.ru/catalog/detskie-svetilniki/svetilniki-podvesnye-detskie-citilux-601151/

http://armadamarket.ru/catalog/detskie-svetilniki/detskie-nastennye-svetilniki-citilux-921016/

http://armadamarket.ru/catalog/detskie-svetilniki/detskie-svetilniki-potolochnye-parus-citilux-937104/

http://armadamarket.ru/catalog/detskie-svetilniki/bra-detskie-svetilniki-citilux-921007/


А вот ещё оптимизированная, но в индекс не попавшая почему-то

http://www.armadamarket.ru/catalog/detskie-svetilniki/detskie-svetilniki-citilux-921001/


И вот страницы с товарами сделанные ещё на прошлой неделе, не попали в индекс

http://www.armadamarket.ru/catalog/lyustra-potolochnaya-khrustal/
http://www.armadamarket.ru/catalog/lyustry-potolochnie-modern/
http://www.armadamarket.ru/catalog/lyustry-potolochnie-bronza/

Там текст в районе двух тысяч знаков.
Название: Re: Почему? Страницы с товаром не попадают в индекс
Отправлено: Zahar от 19-08-2014, 07:18:09
В приведенных примерах приглядитесь,
есть урлы с www и без www
Яндекс выбрал главным зеркалом сайт без www
В индексе только урлы без www
Настройте 301 редирект с www на без www
И ссылки на сайт в сети раскидывайте без www.

armadamarket.ru/catalog/svet/ - 30 стр пагинации с одинаковыми мета и вводным текстом,
и так в каждой категории, используйте канонические урл
Название: Re: Почему? Страницы с товаром не попадают в индекс
Отправлено: Free_smile от 19-08-2014, 08:21:16
Цитата: Zahar от 19-08-2014, 07:18:09В приведенных примерах приглядитесь,
есть урлы с www и без www
Яндекс выбрал главным зеркалом сайт без www
В индексе только урлы без www
Настройте 301 редирект с www на без www
И ссылки на сайт в сети раскидывайте без www.

armadamarket.ru/catalog/svet/ - 30 стр пагинации с одинаковыми мета и вводным текстом,
и так в каждой категории, используйте канонические урл


Спасибо огромное! Это просто прорыв какой-то в понимании происходящего!

А нужно ли разбираться, почему яндекс выбрал сайт без www? Не могу понять этот момент. Ведь речь идёт о физически одном сайте, а виртуально какое-то разделение на сайт с www и сайт без www. Почему так?

Теперь значит везде ссылки ставить без www, спасибо - это очень важно, ведь ставили где как.

Насчёт 301 редиректа. Нашла в сети, правильно ли это?

ЦитироватьИ наоборот, кому надо редирект домена с WWW на домен без WWW:
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.example.ru$ [NC]
RewriteRule ^(.*)$ http://example.ru/$1 [R=301,L]

Про 30 страниц пагинации я поняла. печально. Каким образом можно использовать канонические урл в Битриксе? Просто вообще не понимаю пока как это сделать

Добавлено: 19-08-2014, 09:13:01


Обнаружила сейчас, что на яндексе в вебмастере в разделе настройка индексирования можно выбрать главное зеркало. Если сейчас стоит на усмотрение робота и он выбрал без www. То есть ли смысл выбирать сейчас всё таки пункт "с www"?

Добавлено: 19-08-2014, 09:22:13


Я так понимаю, что страницы мною перечисленные всё таки не попали в индекс из-за этой пагинации с одинаковыми мета данными и текстами. А с отдельными товарами не попадали в индекс похоже из-за низкой уникальности текста.

И вот с этим 301 редиректом... Насколько важно это сделать? Если сделать, то кто бы и что бы не запрашивало урл с www всегда будет переход на страницу без www. Т.е., например, в адресной строке будет адрес без www, даже если пользователь ввёл с www. Как-то не понятно что это даёт?
Название: Re: Почему? Страницы с товаром не попадают в индекс
Отправлено: redhotfox от 19-08-2014, 13:20:28
ЦитироватьИ вот с этим 301 редиректом... Насколько важно это сделать?
Это одна из вещей которую нужно сделать. Есть множество сайтов, у которых и без Редиректа идёт корректное определение страниц, но у вас не так. У вас в индексе Яндекса страницы без www. в индексе Google и с www. и без www. в перемешку. Вполне вероятно, что даже уникальный контекст на вашем сайте кажется дублем.  Я бы вам его сделать посоветовал, но проблемы с индексацией это скорее всего не решит. Я бы вам посоветовал залить на сайт актуальную карту сайта. Вот она(кстати продублированая)
http://armadamarket.ru/sitemap.xml
http://www.armadamarket.ru/sitemap.xml
По ней у вас на сайте 2 страницы, толку от этого нету. Залейте актуальную.
ЦитироватьИ вот страницы с товарами сделанные ещё на прошлой неделе, не попали в индекс
Ничего удивительного. У вас в индексе главная страница от 11 августа. Естественно страницы 3-4 уровня вложенности, ещё не проиндексировались. Будьте готовы, к тому что на вашем сайте огромное кол-во страниц и индексировать его пс будут долго(особенно Яндекс)
Название: Re: Почему? Страницы с товаром не попадают в индекс
Отправлено: Free_smile от 20-08-2014, 07:16:15
Цитата: redhotfox от 19-08-2014, 13:20:28посоветовал залить на сайт актуальную карту сайта. Вот она(кстати продублированая)
http://armadamarket.ru/sitemap.xml
http://www.armadamarket.ru/sitemap.xml
По ней у вас на сайте 2 страницы, толку от этого нету. Залейте актуальную.

Интересная вещь, дело в том, что эта карта сгенерированная битриксом, если внимательно посмотреть, то там ссылки на два файла, в одном из них и находятся все страницы. Я с таким ещё не сталкивалась и потому не знаю, нормально ли это. Проверка на вебмастере сообщила, что всё Ок

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>http://armadamarket.ru/sitemap_files.xml</loc>
<lastmod>2014-08-19T10:39:11+04:00</lastmod>
</sitemap>
<sitemap>
<loc>http://armadamarket.ru/sitemap_iblock_1.xml</loc>
<lastmod>2014-08-19T10:39:21+04:00</lastmod>
</sitemap>
</sitemapindex>


<loc>http://armadamarket.ru/sitemap_files.xml</loc>
<loc>http://armadamarket.ru/sitemap_iblock_1.xml</loc>
Название: Re: Почему? Страницы с товаром не попадают в индекс
Отправлено: redhotfox от 20-08-2014, 08:27:53
ЦитироватьИнтересная вещь, дело в том, что эта карта сгенерированная битриксом, если внимательно посмотреть, то там ссылки на два файла, в одном из них и находятся все страницы. Я с таким ещё не сталкивалась и потому не знаю, нормально ли это. Проверка на вебмастере сообщила, что всё Ок
Не было необходимости заливать sitemap на битрикс, но советую получше разобраться. Заливал карту сайта на opencart, все сервисы генерируют до 1000 страниц. В итоге нашёл программу, дома посмотрю как называется, с которой сгенерировал 15 000 страниц. Если битрикс делают свою карту сайта, то все-ли товары он включает...
Название: Re: Почему? Страницы с товаром не попадают в индекс
Отправлено: Free_smile от 25-08-2014, 08:47:56
Цитата: Zahar от 19-08-2014, 07:18:09
armadamarket.ru/catalog/svet/ - 30 стр пагинации с одинаковыми мета и вводным текстом,
и так в каждой категории, используйте канонические урл

спасибо, конечно, что открыли мне канонические урл. Пока не смогла это реализовать. надеюсь, разберусь позже

Но вот всё же.... Есть два адреса:

(1) http://armadamarket.ru/catalog/lyustry-potolochnye/
(2) http://armadamarket.ru/catalog/lyustry-potolochnie-bronza/

Первый, имеющий 10 страниц пагинации с одинаковым вводным текстом и мета данными попал в индекс.
А второй не попал, и даже страниц пагинации нет. :( 
Есть у кого-нибудь мысли почему?
Название: Re: Почему? Страницы с товаром не попадают в индекс
Отправлено: Zahar от 25-08-2014, 22:00:10
Цитата: Free_smile от 25-08-2014, 08:47:56А второй не попал, и даже страниц пагинации нет.

Я Вас еще растрою, к сожалению
у второго урла тоже есть дубли, не запрещенные к индексации, порядка 20-ти штук, вида
http://armadamarket.ru/catalog/lyustry-potolochnie-bronza/?MUL_MODE=&SHOWALL_1=0&SIZEN_1=17
Ну еще уж до кучи:
не настроена ошибка 404, при запросе несуществующих адресов сервер отдает ответ HTTP/1.1 200 OK.
Необходимо настроить ответ сервера HTTP/1.1 404 Not Found для несуществующих страниц
Название: Re: Почему? Страницы с товаром не попадают в индекс
Отправлено: Free_smile от 27-08-2014, 07:07:39
Цитата: Zahar от 25-08-2014, 22:00:10Я Вас еще растрою, к сожалению
у второго урла тоже есть дубли, не запрещенные к индексации, порядка 20-ти штук, вида
http://armadamarket.ru/catalog/lyustry-potolochnie-bronza/?MUL_MODE=&SHOWALL_1=0&SIZEN_1=17

Спасибо большое! Вот только как вы их находите?

Название: Re: Почему? Страницы с товаром не попадают в индекс
Отправлено: Zahar от 27-08-2014, 10:31:31
Цитата: Free_smile от 27-08-2014, 07:07:39Вот только как вы их находите?

Страницы сортировки, реализуйте Canonical, на офсайте есть решения