Есть большой интернет-магазин и множество товаров. Сайт переделывался и структура сильно изменилась. Слышал, что redirect лучше не делать, а просто в роботе закрывать url-ы с 404, так ли это?
immortal727, Вы смешали все в одно. Либо закрывать в роботсе либо уж 404. Закрытие в роботсе дурной и неэффективный метод
И что же я смешал? 404 настроена корректно.
Цитата: immortal727 от 09-09-2016, 12:10:42
И что же я смешал? 404 настроена корректно.
Зачем тогда запрет в роботсе?
Вы даете 404 ответ странице, чтобы поисковик понял, что ее надо выкинуть и в тоже время директивой в роботсе пытаетесь ее запретить к просмотру (поисковиком).
Просто хочется вообще исключить все страницы с 404 ошибкой. Яндекс-то всё равно видит эту страницу и она идет в индекс. Вот и думаю, может лучше тогда редирект сделать в .htaccss если в роботе вообще лучше не запрещать, как советуете. А то мне совсем противоположную информацию дали, якобы лучше в роботе
immortal727, Я вам сказал как правильно. Это не теория и домыслы, а все в результате опыта.
И прекрасно, что яндекс видит 404 ошибку. 404 ответ сервера это сигнал поисковику, что страницы не существует. В течении нескольких АПов она уйдет из индекса.
Если закроете в роботсе, то в Яндексе это пока что прокатит, в гугле же такая страница останется навечно.
Директиву роботс Диселоу стоит использовать лишь при первичной настройке, для тех страниц, что еще не успели попасть в индекс.
Цитата: immortal727 от 09-09-2016, 12:18:50А то мне совсем противоположную информацию дали
[spoiler]Ну так сделайте противоположные действия и наслаждайтесь.[/spoiler]
А структура где поменялась? Например:
Главная/категория1/статья1 изменилась на Главная/категория1/статья2 ?
И содержимое одно и то же? Если да, то редиректом можно решить эту проблему.
Цитата: Anyue-SEO от 09-09-2016, 13:39:57Если да, то редиректом можно решить эту проблему.
Сейчас, вообще, неизвестно, есть проблема или нет, и если есть, то какая. Непонятно когда именно сайт переделывался, что при этом было сделано и какая текущая ситуация. А вопрос ТС больше похож на теоретический:
Цитата: immortal727 от 09-09-2016, 11:55:29Сайт переделывался и структура сильно изменилась. Слышал, что redirect лучше не делать, а просто в роботе закрывать url-ы с 404, так ли это?
Ну а так, можно, если скучно "подагадываться", например, о том, что если появились страницы с 404 ошибкой, то при смене структуры, редирект не делался. В общем, все как обычно - ситуация четко с хронологией не описана, проблема не обозначена.
Цитата: immortal727 от 09-09-2016, 11:55:29Слышал, что redirect лучше не делать, а просто в роботе закрывать
Цитата: immortal727 от 09-09-2016, 12:18:50А то мне совсем противоположную информацию дали
У меня возникают сомнение в компетентности спецов, дающих подобные советы.
Как поступить правильно.
1. Есть магазин, с посещаемостью 1000 человек (например) в сутки.
2. Переделываем сайт, меняем структуру урлов. Дальше два варианта:
а) ничего не делаете, сайт получает кучу 404, вылетает из выдачи по релевантнымы 404 страницам, проседает по тем, которые остались в индексе, сайт теряет весь трафик;
б) настраиваем постраничные редиректы, ничего нигде не закрываем - вместо 404 получаем кучу 301 ответов, что уже является нормальным явлением при переезде сайта. В выдаче сайт немного проседает, потом возвращается. Трафик падает временно и незначительно.
Так какой вариант лучше?
Sky-fi, Правильно. Просто задача была мутно описана. Я привел, так сказать, академический случай. Если просто выкинуть из индекса надо, то 404, если перелит траф, то конечно 301
Цитата: borzoid от 09-09-2016, 12:06:34Закрытие в роботсе дурной и неэффективный метод
https://support.google.com/webmasters/answer/6062602?hl=ru&ref_topic=4598466
https://yandex.ru/adv/edu/webmaster-start/kak-udalit-stranitsu-iz-poiska
https://www.google.ru/robots.txt
https://yandex.ru/robots.txt
dmkaz, а к чему процитировали слова borzoid?
Цитата: vold57 от 11-09-2016, 18:42:51а к чему процитировали слова borzoid?
к тому, что в яндексе и гуле с ним не согласны
Цитата: dmkaz от 11-09-2016, 19:16:10
к тому, что в яндексе и гуле с ним не согласны
Я этого не увидел по приведенным ссылкам.
Если структура магазина изменилась, стандартная схема такая:
Настроить 301 редиректы со старых URL на новые релевантные страницы.
Обновить XML-sitemap и отправить её в Search Console.
Проверить краулинг через логи или инструменты вроде Screaming Frog.
Оставшиеся неактуальные страницы отдавать 404/410.
Цитата: immortal727 от 09-09-2016, 11:55:29Есть большой интернет-магазин и множество товаров. Сайт переделывался и структура сильно изменилась. Слышал, что redirect лучше не делать, а просто в роботе закрывать url-ы с 404, так ли это?
Если невозможно сопоставить старые url магазина новым url магазина, то можно просто несуществующие url сделать редирект на главную страницу.