Если вам нравится SbUP Форум, вы можете поддержать его - BTC: bc1qppjcl3c2cyjazy6lepmrv3fh6ke9mxs7zpfky0 , TRC20 и ещё....

 

Закрытие сайта от роботов - парсеров

Автор Noconnect, 20-06-2017, 15:10:24

« назад - далее »

Kirill N

Юзай .htaccess для бана по User-Agent, ставь заглушки через серверные 403/404, а ещё лучше - настрой Cloudflare с фильтрами на подозрительный трафик.
И не забудь про noindex в мета-тегах, чтобы поисковики не индексировали лишнего. А если уж совсем параноишь, шифруй контент через JS-обфускацию, пусть парсеры обломаются.



Если вам нравится SbUP Форум, вы можете поддержать его - BTC: bc1qppjcl3c2cyjazy6lepmrv3fh6ke9mxs7zpfky0 , TRC20 и ещё....