Как получить url всех проиндексированных страниц в Y&G?

[XeNuM]

Собственно нужно получить список проиндексированных url, но как показала практика ПС по запросу site:mysite.ru  в выдачу добавляют не все проиндексированные страницы, вопрос как все таки можно получить полноценный список? Вариант из серии выдернуть все url через xenu link и потом проверять каждый на наличие индексации не очень нравиться... Долго, много капчи и геморроя с проксями.

В общем суть вопроса - каким образом можно получить список url в формате url:Index Yandex (да/нет):Index Google(да/нет)?

[Zahar]

В Я запрос url:domen.ru*  или в панели вебмастера
В Г site:domen.ru все проиндексированное с соплями
site:domen.ru/&  -  индекс без соплей

Добавлено: 02-04-2014, 18:56:22

Вот прога есть, сам особо не тестил, попробуйте.
Если воспользуетесь - отпишите, пожалуйста, об эффективности, результатах.
Там в настройках ковыряться нужно

[XeNuM]

Не то, прога не подходит, собственно такой скрипт самому можно сделать без особых проблем. Отличия url:site.ru* от site:site.ru не заметил выдача одинаковая. Опишу суть проблемы более детально.

Итак:
1) С выдачи яндекса и гугла парсяться все url по команде site:site.ru или url:site.ru*
2)К примеру у яндекса спарсилось 300 урлов, у гугла 320 нужно проверить какие страницы в индексе обеих ПС а какие только в одной. Скрипт сравнения  элементарный ошибок в работе быть не может, пример вот - http://yadi.sk/d/PP5W3-M8LgWc8
3) Вроде все просто, но тут вылазит неприятный момент, который заключается в том что при дополнительной таргетной проверке, url который вроде как проиндексирован только в гугле оказываеться проиндексирован и в яндексе. Часть урлов действительно не в индексе одного из поисковиков но погрешность очень большая и говорит о том что в выдаче присутствуют не все страницы которые реально проиндексированы... Ну и помимо этого гугл сильно врет относительно количества проиндексированных страниц, к примеру пишет что проиндексировано ~2к начинаешь парсить и оказываеться что их всего штук 500 от силы...

[Zahar]

Есть несколько способов получить полноценный список проиндексированных URL-адресов для вашего сайта. Один из способов - использовать инструменты для веб-аналитики, такие как Яндекс.Метрика или Google Analytics.

В этих инструментах вы можете найти информацию о том, какие страницы вашего сайта были посещены и проиндексированы поисковыми системами. Вы можете отфильтровать эту информацию, чтобы получить только проиндексированные страницы и экспортировать их в нужном вам формате.

Еще один способ - использовать инструменты для поискового анализа, такие как SEMrush или Ahrefs. Эти инструменты предоставляют информацию о том, какие страницы вашего сайта проиндексированы поисковыми системами и какие ключевые слова они ранжируют. Вы можете использовать эти инструменты, чтобы получить список URL-адресов и информацию о состоянии индексации.

Наконец, вы можете воспользоваться API поисковых систем, таких как Яндекс.XML или Google Search Console API. Эти API предоставляют различные методы для получения информации о состоянии индексации вашего сайта. Вы можете использовать их, чтобы получить список URL-адресов и информацию о состоянии индексации для каждой страницы.

[XeNuM]

Проверял с соплями тоже, в лучшем случае добавляются 50-100 страниц  большинство (99%) из которых закрыты от индексации в роботсе, при заявленном количестве это капля в море...