Как удалить ненужные индексы из гугл навсегда?

diamond_miledy · 13-05-2015, 13:33:34

Здравствуйте, форумчане! Может, кто подскажет, как с этим справиться?

Когда-то по неопытности наделала ошибок (свой движок) - до сих пор не могу разгрести. Неправильно проиндексированные страницы никак не могу удалить навсегда.

Удаляю в вебмастере - через некоторое время опять появляются. Опять удаляю - опять появляются. И так до бесконечности.

Закрытые в robots.txt страницы теперь в поиске выдает в виде URL-адреса, они не исчезают.

Вот так выглядят:
www.interier-nn.ru/catalog.php?id_vid=0&id_tip=0&i...
Описание веб-страницы недоступно из-за ограничений в файле robots.txt.

Особенно бесят адреса с пробелами - вообще не могу удалить!!!

Ну как навсегда удалить из гугл? В яндексе все просто, а здесь... ППЦ! Достали прям! Болтаются в поиске лишние дубли...

Clever · 13-05-2015, 15:06:25

В Google страницы или категории удаляются через удалить url:

https://www.google.com/webmasters/tools/url-removal?hl=ru&siteUrl=www.interier-nn.ru

Reistlin · 13-05-2015, 15:35:59

Цитата: diamond_miledy от 13-05-2015, 13:33:34
Здравствуйте, форумчане! Может, кто подскажет, как с этим справиться?

Когда-то по неопытности наделала ошибок (свой движок) - до сих пор не могу разгрести. Неправильно проиндексированные страницы никак не могу удалить навсегда.

Удаляю в вебмастере - через некоторое время опять появляются. Опять удаляю - опять появляются. И так до бесконечности.

Закрытые в robots.txt страницы теперь в поиске выдает в виде URL-адреса, они не исчезают.

Вот так выглядят:
www.interier-nn.ru/catalog.php?id_vid=0&id_tip=0&i...
Описание веб-страницы недоступно из-за ограничений в файле robots.txt.

Особенно бесят адреса с пробелами - вообще не могу удалить!!!

Ну как навсегда удалить из гугл? В яндексе все просто, а здесь... ППЦ! Достали прям! Болтаются в поиске лишние дубли...

А это копии страниц? Если да, то можно склеить с нормальными (301 редирект), если нет - сделать перенаправление на ошибку 404.

diamond_miledy · 13-05-2015, 15:57:24

Цитата: Reistlin от 13-05-2015, 15:35:59
А это копии страниц? Если да, то можно склеить с нормальными (301 редирект), если нет - сделать перенаправление на ошибку 404.

Есть копии, есть не копии. Их много. Замучаешься редиректить.
Ну вот у меня настроен редирект www -> без www, и все равно всплывают страницы с www. Никакой редирект не помогает.

Даже индексы, которые дают ошибку 404, все равно не удаляются.
Просто кошмар какой-то. С Яндексом таких проблем нет.

А как сделать перенаправление на ошибку 404? Напишите пример.

Reistlin · 13-05-2015, 16:02:54

Цитата: diamond_miledy от 13-05-2015, 15:57:24
Есть копии, есть не копии. Их много. Замучаешься редиректить.
Ну вот у меня настроен редирект www -> без www, и все равно всплывают страницы с www. Никакой редирект не помогает.

Даже индексы, которые дают ошибку 404, все равно не удаляются.
Просто кошмар какой-то. С Яндексом таких проблем нет.

А как сделать перенаправление на ошибку 404? Напишите пример.

Пишем скрипт на php/js и редиректим все автоматом. Всплывают страницы, т.е - всплывают в поиске google или по факту входа на сайт? Может, google тупо не переиндексировал страницы?
Вот пример перенаправления на страницу ошибки 404 через php:
<?php
header('HTTP/1.1 404 Not Found');
exit("<meta http-equiv='Refresh' content='0; URL=http://mysite.com/404.php'>");
?>

diamond_miledy · 13-05-2015, 16:16:39

Цитата: Reistlin от 13-05-2015, 16:02:54
Пишем скрипт на php/js и редиректим все автоматом. Всплывают страницы, т.е - всплывают в поиске google или по факту входа на сайт? Может, google тупо не переиндексировал страницы?
Вот пример перенаправления на страницу ошибки 404 через php:
<?php
header('HTTP/1.1 404 Not Found');
exit("<meta http-equiv='Refresh' content='0; URL=http://mysite.com/404.php'>");
?>

Спасибо, понятно (буду иметь ввиду), но мне это не подходит.

Индексы я просматриваю вручную: site:interier-nn.ru (перехожу в конец ->Показать скрытые результаты и смотрю, чего он навалял там)

Потом смотрю site:www.interier-nn.ru

Вот такой дурацкий индекс с пробелами не могу удалить (регулярно появляются в такими пробелами, которые заменятся символом %):
сайт/catalog.php?id_vid=0&id_tip=0&id_class=0&id_name=0&width=1400%2527

И еще бесит: гугл индексирует страницы, на которых указано <meta name='robots' content='noindex, nofollow'/>
И ведь переходы на эти страницы только через JS: document.location.href=...
И не могу их удалить никак.

Reistlin · 13-05-2015, 16:24:23

Цитата: diamond_miledy от 13-05-2015, 16:16:39
Спасибо, понятно (буду иметь ввиду), но мне это не подходит.

Индексы я просматриваю вручную: site:interier-nn.ru (перехожу в конец ->Показать скрытые результаты и смотрю, чего он навалял там)

Потом смотрю site:www.interier-nn.ru

Вот такой дурацкий индекс с пробелами не могу удалить (регулярно появляются в такими пробелами, которые заменятся символом %):
сайт/catalog.php?id_vid=0&id_tip=0&id_class=0&id_name=0&width=1400%2527

И еще бесит: гугл индексирует страницы, на которых указано <meta name='robots' content='noindex, nofollow'/>
И ведь переходы на эти страницы только через JS: document.location.href=...
И не могу их удалить никак.

А что подходит? Я вот точно не знаю (не тестировал), но можно попробовать вот так (через html):
<meta http-equiv="refresh" content="0;URL='http://mysite.com/404.php/html'">
Попробуйте настроить на 1 страницу и посмотрите, какую сообщуху отдает сервер)

vold57 · 13-05-2015, 17:04:40

Цитата: diamond_miledy от 13-05-2015, 16:16:39И еще бесит: гугл индексирует страницы, на которых указано <meta name='robots' content='noindex, nofollow'/>

Если в robots.txt запретили сканирование страницы, то Гугл этого <meta name='robots' content='noindex, nofollow'/> и не видит. Во всяком случае, идет вам навстречу и делает вид, что не видит.

diamond_miledy · 13-05-2015, 19:30:16

Цитата: Reistlin от 13-05-2015, 16:24:23
А что подходит? Я вот точно не знаю (не тестировал), но можно попробовать вот так (через html):
<meta http-equiv="refresh" content="0;URL='http://mysite.com/404.php/html'">
Попробуйте настроить на 1 страницу и посмотрите, какую сообщуху отдает сервер)

Мне надо, чтобы страницы на сайте присутствовали (листание по страницам), но в индексе не были.

Я и в роботсе их закрыла, и в метатеге указала noindex... и ссылок на сайте на них нет. Но все равно индексы болтаются... Не удаляются...

Гугл дебильный какой-то

Добавлено: 13-05-2015, 19:34:57

Цитата: vold57 от 13-05-2015, 17:04:40
Если в robots.txt запретили сканирование страницы, то Гугл этого <meta name='robots' content='noindex, nofollow'/> и не видит. Во всяком случае, идет вам навстречу и делает вид, что не видит.

В том-то и дело, что не удаляет запрещенные в роботсе страницы, а в выдаче выдает URL с указанием Описание веб-страницы недоступно из-за ограничений в файле robots.txt.

Пример: напишите в поиске гугл site:www.interier-nn.ru и сами увидите

vold57 · 13-05-2015, 19:43:09

Цитата: diamond_miledy от 13-05-2015, 19:30:16В том-то и дело, что не удаляет запрещенные в роботсе страницы

Я же вам написал, почему не удаляет. Уберите запрет на сканирование в robots.txt и дайте возможность Гуглу прочитать в хедере страницы запрет на индексацию - <meta name='robots' content='noindex, nofollow'/>.

Вам и выдача подсказывает, что Гугл не видит содержимое страницы:

Цитата: diamond_miledy от 13-05-2015, 19:30:16Описание веб-страницы недоступно из-за ограничений в файле robots.txt.