Оператор поиска Яндекс (уровень вложенности УРЛ)

[hita4]

Приветствую, коллеги!

Есть задача: нужно вытащить из выдачи Яндекса УРЛы одного сайта определенного УРОВНЯ вложенности.

Например для интернет-магазина example.com, требуется найти все "мусорные" страницы 6 уровня, которые генерируются CMS внутри категорий. Пример такого УРЛ: example.com/shop/elektronika/category/televizory/televizory-price-2000-to-10000/

Заранее скажу, что страницы закрыты от индексации метатегом robots, но робот не торопится их посещать. Поэтому хотелось бы составить список страниц, которые остались в индексе и их принудительно переобойти.

Составил начало запроса, но не хватает знаний, чтобы собственно выделить страницы только 6 уровня (выделять по запросу не вариант).

site:example.com inurl:category

Прошу помочь, заранее спасибо!

[Старый]

Сформулируйте задачу конкретней.

[tartaren]

Выкинуть эту CMS и сделать хорошо не легче?

[hita4]

Сформулируйте задачу конкретней.

Вы бот или счетчик постов набиваете? Отвечаете в разных топиках вообще не по теме. Что непонятно в задаче?

[Старый]

Вы бот

Бот это вы!
Ставьте конкретную задачу!
От правильной постановки зависит 99% её выполнения.
Пипец, как бот отвечаю! 

[Ametist]

Первое, что мне пришло в голову согласно описанной задачи — это проведение технического аудита в wizard sape. Отчет данного аудита и ссылочную массу выгружает, и указывает, что в индексе поисковика, а что - нет, и малозначимые страницы

[Старый]

Ametist, очень мудрёно.
Любой сканер + бортовой фильтр.

Под сканерами подразумеваю лягушку, ксен, аналайзер, аудитор и подобные. Все всё найдут и отсортируют.
Добавлено: 06-08-2021, 23:55:24

Заранее скажу, что страницы закрыты от индексации метатегом robots, но робот не торопится их посещать.

Вот это ещё удивляет.
ТС, прoстите за грубость...
Но у бабы нет п*** и вы её не торопитесь искать. Ерунда какая-то.

Робот эти страницы и не посетит.

Поэтому хотелось бы составить список страниц, которые остались в индексе и их принудительно переобойти.

Если закрыты, то как переобойти?
Лбом в бетонную стену?


hita4, что-то вы скрываете...