Не могу создать карту сайта на многоязычном сайте (

praktik_man · 01-10-2015, 16:34:15

У меня Joomla! 3.4.1, но карту сайта хотел сделать руками.

Есть прекрасный ресурс - https://www.xml-sitemaps.com/. Но при парсинге не видит русских страниц ((

То есть урлы с /ua, /en/ он хавает, а русские / не хочет. И так все другие онлайн генераторы. Все русские ссылки доступны для индексации. Я проверял через гугл вебмастерс и отдают код 200.

Вот пациент:
[spoiler]http://www.topguard.ua/[/spoiler]

arsenkin · 02-10-2015, 12:56:33

Можно использовать любой другой краулер сайта. Почти все генерируют карту сайта.
Например:
screaming frog seo spider
page weight desktop
comparser

praktik_man · 02-10-2015, 16:31:59

Цитата: arsenkin от 02-10-2015, 12:56:33
Можно использовать любой другой краулер сайта. Почти все генерируют карту сайта.
Например:
screaming frog seo spider
page weight desktop
comparser

arsenkin , тебе большое спасибо за подсказку.
comparser программа неплохая, но не учитывает Robots.txt хоть и написано в настройках что должна учитывать. В итоге индексирует дубли страниц. Не подходит.
page weight desktop - вообще не учитывает Robots.txt и не видит русские страницы совсем.

screaming frog seo spider и SiteMap Generator отлично справились с задачей. У первой больше настроек и получает 5 баллов. Вторая получает 4.5.
Но вопрос остается не решенным. Почему автоматические генераторы не могут нормално пропарсить сайт?

arsenkin · 02-10-2015, 18:47:13

Цитата: praktik_man от 02-10-2015, 16:31:59
arsenkin , тебе большое спасибо за подсказку.
comparser программа неплохая, но не учитывает Robots.txt хоть и написано в настройках что должна учитывать. В итоге индексирует дубли страниц. Не подходит.
page weight desktop - вообще не учитывает Robots.txt и не видит русские страницы совсем.

screaming frog seo spider и SiteMap Generator отлично справились с задачей. У первой больше настроек и получает 5 баллов. Вторая получает 4.5.
Но вопрос остается не решенным. Почему автоматические генераторы не могут нормално пропарсить сайт?

Все они учитывают robots.txt, нужно настраивать программы.

praktik_man · 03-10-2015, 00:07:59

Цитата: arsenkin от 02-10-2015, 18:47:13
Все они учитывают robots.txt, нужно настраивать программы.

Я установил а в page weight даже вручную пробовал проскaнировать нужные тсраницы. Показыват 1 внутреннюю ссылку с главной. Это по-твоему нормально? а с укр версией и английской все норм. Если не веришь - сам посмотри.