Как 100% узнать что страницы нет в индексе?

[StanStella]

4. Гугл прекрасно видит noindex и нормально обрабатывает страницы с этим тегом, если косяков нет

Ну не знаю... Плагин Yoast SEO не может же косячить.
Дело то в чем? Есть партнерская товарная витрина в отдельном разделе инфосайта - /catalog/ - собственно о ней и речь. Витрина пока больше как эксперимент, но недолгое время, до 1 августа держал ее главную страницу открытой для поиска. Но все разделы и все-все карточки товаров были и есть закрыты в noindex. Однако в Гугл аналитикс видел и вижу такие поисковые запросы как, например, ботинки betsy, ботинки el tempo - их упоминания есть только на витрине и нет в инфочасти сайта! Средняя позиция сайта по этим запросам - №90, но это и понятно - конкуренция...
Но значит ли это, что Гугл обходит стороной ноиндекс?

Добавлено: 26-08-2018, 11:47:51

Как найти непроиндексированные Google страницы 
_http://coderhs.com/archive/find-unstaged-pages-google

Там пишет

Чтобы узнать, был ли конкретный URL проиндексирован Google, можно использовать поисковый оператор «info:». Например:
info:http://searchengineland.com/google-downplays-google-algorithm-ranking-update-week-normal-fluctuations-258923

Тогда если info:http://estellemoda.ru/catalog/ - то в индексе...

[casasiam]

Все на много проще.

Открываешь гуугл Search Console --> Fetch as Google (пишеш свой /catolog/) бот тебе выдаст заблочен он или нет. Если даже пишет что да, в блоке. На всякий случай -
Для уверености в раздел Index ---> Remove URLs --> добавляеш свой каталог ( пример www.site.com/catalog/ ).
Вот и все в течение 3-5 дней он удалит из индеска, все страницы этого каталога, если все правильно заблочен через meta, этот каталог больше не полезет в индекс.

[ProtectYourSite]

Зачем закрывать от индексации, если ответ 404 страницы? Наоборот надо открыть страницу для индексации, чтобы бот обошёл и скорее её проиндексировал. Правда выкидывать может 90 дней, тут лучше в инструмент удаления URL, но его возможно уже убрали с панели вбемастера.
Вообще лучше объясните какого результата добиться хотите, Вам может посоветуют более правильные пути решения.

[StanStella]

Зачем закрывать от индексации, если ответ 404 страницы?

Потому что на днях уже удалил ее - надоела эта неопределенность со стороны гугла.
Добавлено: 07-09-2018, 14:04:58

Вообще лучше объясните какого результата добиться хотите, Вам может посоветуют более правильные пути решения.

Все просто - эта каталог витрина с партнерскими товарами, товары беру через СРА сеть, не буду писать тут какую, ее и так все знают. Как только открыл главную каталога для индексации, так сразу по стате этой сети пошел большой траф - одних только кликов в районе 300 ежедневно! (а у них в стате показывают только клики, ибо сеть то СРА). ТП сети ничего по этому поводу ясного сказать не может, мало того- ощущение, что вообще таких вопросов как бы не замечает. Мне все это показалось подозрительным, и я решил закрыть страницу в ноиндекс, и посмотреть, что изменится.
Добавлено: 07-09-2018, 14:07:25

Правда выкидывать может 90 дней, тут лучше в инструмент удаления URL, но его возможно уже убрали с панели вбемастера.

Не "возможно" - а уже убрали. Точнее, он есть, но поля, в которое нужно вписать URL для удаления, там нет почему-то.

[stalk1969]

noindex сообщает роботу, что URL не должен попадать в индекс, но сам робот учитывает эту инструкцию только после того, как снова загрузит страницу. Если URL уже проиндексирован и находится в карте сайта, в внутренних ссылках или имеет внешние ссылки, Google будет держать его в индексе до получения нового ответа.

Что делаем:

URL Inspection → Request Indexing -ставит URL в очередь на повторный кроулинг.
X‑Robots‑Tag: noindex в HTTP‑заголовке -ускоряет процесс, т.к. робот читает заголовок до HTML‑парсинга.
Удаляем все ссылки на страницу из sitemap.xml и из контента сайта.
Если требуется немедленное исчезновение, используем Search Console → Removals.