Закрыть поддомены robots.txt

[izac]

Вообшем прихватил гугл ешё 2к страниц нашего git репы , как теперь их с выдачи удалить , в основной роботс записал

User-agent: *
Disallow: http://git.site.com/*
Disallow: http://test.site.com/*

в корень папок с под доменами записал

User-agent: *
Disallow: /*

но в выдаче гугла ешё есть и весят уже месяца 2 как быть ?

[ruslan_fd]

Не сработает.
Поддомены - по сути, отдельные сайты.
Вариантов несколько:
1. Положить в папку поддоменов роботс:

Код Выделить Развернуть


User-agent: *
Disallow: /


2. В head всех страниц поместить код:

Код Выделить Развернуть


<meta name="robots" content="none"/>


Это самые простые варианты.

Ну а чтобы быстро выбить страницы из индекса можно отдавать код ответа сервера 410 (страница удалена и больше никогда не будет существовать). С этим кодом страницы вылетают быстро, и индексироваться никогда больше не будут.
404 ответ будет обрабатываться дольше, т.к. поисковики таки страницы "защищают" определенное время.