Вопрос по индексации сайта

[kovan]

Всем доброго времени суток! Вопрос весьма нетривиальный, скажите, по каким причинам новый сайт проиндексировался гуглом?
Суть такова: была создана тестовая версия сайта, положилась на домен, ссылок на этот домен нет, он нулевый, единственное что, забыли воткнуть robots с запретом на индексацию, но не в роботсе дело.. Обычно, новому сайту нужно пройти 7 кругов ада, чтобы попасть в индекс, а тут он в индексе быть не должен.
Причина этого: есть сайт, абсолютно аналогичный по дизайну и содержанию, просто новый сайт подняли для теста функционала.

Заранее спасибо за ответы! Если будут нужны ссылки на сайты или любые другие подробности - предоставлю

[Zhezkazganetcs]

Обычно, новому сайту нужно пройти 7 кругов ада, чтобы попасть в индекс

это было лет 5 назад
щас все намного быстрее

[kovan]

это было лет 5 назад
щас все намного быстрее

Ну и хорошо, но волнует далеко не это =)

[Zhezkazganetcs]

волнует далеко не это =)

а что?

по каким причинам новый сайт проиндексировался гуглом?

дак нет запрета - вот и индексирует

[kovan]

а что?дак нет запрета - вот и индексирует

Насколько я понимаю работу кроулеров, он либо переходит по внешней ссылке и гуляет по сайту, либо ему нужно напрямую указать на сайт через панель вебмастера. Оба этих условия не были выполнены, т.е. как я написал выше, домен нулевый, без каких-либо бэков, и в панель вебмастера сайт не добавлялся. Не взбрело же ему просто в голову туда зайти.

[zanuda]

Ну так если вы его где-нибудь тестили на статистику или с каким-нибудь баром на сайт ходили (вы или кто0нибудь из команды), так вот сайт и засветили. а дальше уже на автомате пошло...

[kovan]

Ну так если вы его где-нибудь тестили на статистику или с каким-нибудь баром на сайт ходили (вы или кто0нибудь из команды), так вот сайт и засветили. а дальше уже на автомате пошло...

Замечательно.. Спасибо большое за ответ, однако никто не признается в содеяном. Вопрос тогда следующий, с учетом того, что мы уже воткнули роботс с запретом, сайт ведь должен полностью вылететь из индекса? И как это может повлиять на основной ресурс, с которого все копировалось? И будут ли проблемы у этого сайта в будущем, с учетом того, что он возможно будет меняться?

[Sky-fi]

мы уже воткнули роботс с запретом, сайт ведь должен полностью вылететь из индекса?

Не обязательно. Скорее всего, страницы останутся, только в сниппетах появится текст, что описание недоступно из-за ограничений в роботсе. Лучше использовать мета-тег ноиндекс, нофоллоу.

[zanuda]

однако никто не признается в содеяном.

Могли и не задуматься. Вон, у меня Алекса бар постоянно включен, я даже и не помню... И ставлю его везде. Еще АдБлок стоит, не знаю, создает ли он какую базу. Если создает, то вот вам и сайт посчитали, наверняка ведь все ходят с каким-то из вариантов...

воткнули роботс с запретом, сайт ведь должен полностью вылететь из индекса

Конечно, должен со временем. по крайней мере в Гугле. Можно, конечно, проредиректить все...

И будут ли проблемы у этого сайта в будущем, с учетом того, что он возможно будет меняться?

У этого, в смысле - основного?!? А то по грамматике не очевидно . Когда все ненужное выпадет, то какие могут быть проблемы? (т.е. я точно не знаю, но если редирект настроете, то тогда точно проблем не будет). Ну и с изменением - это нормальное явление, что сайты меняются...

[matt]

Новый сайт, вероятно, был проиндексирован Гуглом из-за подобия его содержания и дизайна с другим сайтом, который уже находится в индексе. Гугл может рассматривать оба сайта как дубликаты контента, что может привести к индексации нового сайта. Также, отсутствие запрета на индексацию в robots.txt могло ускорить этот процесс. Чтобы предотвратить дальнейшую индексацию нового сайта, рекомендуется добавить соответствующие мета-теги или robots.txt, указывающие на то, что сайт не должен индексироваться поисковыми системами.

Предположительно, появление нового сайта в индексе Гугла можно также объяснить алгоритмом поисковой системы, который автоматически скaнирует и индексирует новый контент в Интернете. Это может произойти даже без наличия ссылок на сайт, особенно если у Гугла есть доступ к этому сайту через другие источники, например, через другие сайты с аналогичным содержанием. Таким образом, даже в отсутствие внешних ссылок Гугл может проиндексировать новый сайт из-за подобия его содержания с другим уже индексированным сайтом.