Что делать redireсt или disallow

[borzoid]

Sky-fi, Правильно. Просто задача была мутно описана. Я привел, так сказать, академический случай. Если просто выкинуть из индекса надо, то 404, если перелит траф, то конечно 301

[dmkaz]

Закрытие в роботсе дурной и неэффективный метод

https://support.google.com/webmasters/answer/6062602?hl=ru&ref_topic=4598466
https://yandex.ru/adv/edu/webmaster-start/kak-udalit-stranitsu-iz-poiska

https://www.google.ru/robots.txt
https://yandex.ru/robots.txt

[vold57]

dmkaz, а к чему процитировали слова borzoid?

[dmkaz]

а к чему процитировали слова borzoid?

к тому, что в яндексе и гуле с ним не согласны

[vold57]

к тому, что в яндексе и гуле с ним не согласны

Я этого не увидел по приведенным ссылкам.

[prodajikz]

Если структура магазина изменилась, стандартная схема такая:

Настроить 301 редиректы со старых URL на новые релевантные страницы.

Обновить XML-sitemap и отправить её в Search Console.

Проверить краулинг через логи или инструменты вроде Screaming Frog.

Оставшиеся неактуальные страницы отдавать 404/410.

[Genius Ideaing]

Есть большой интернет-магазин и множество товаров. Сайт переделывался и структура сильно изменилась. Слышал, что redirect лучше не делать, а просто в роботе закрывать url-ы с 404, так ли это?

Если невозможно сопоставить старые url магазина новым url магазина, то можно просто несуществующие url сделать редирект на главную страницу.