Запрет индексации через .htaccess

[DOleg]

Я пока "не дорос" до блoкировки ботов, поэтому мне тяжело что-либо сказать
На Серче приводили вариант (2010г.) блoкировки по HTTP_USER_AGENT. Надо мониторить логи, искать кандидатов на блoкировку, т.к. сразу всех и не узнаешь и прописывать их в правила.

Код Выделить Развернуть

RewriteEngine On
Options +FollowSymlinks
RewriteBase /

RewriteCond %{HTTP_USER_AGENT} ^Alexibot ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^asterias ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^BackDoorBot ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Black.Hole ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^BlowFish ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^BotALot ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^BuiltBotTough ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Bullseye ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^BunnySlippers ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Cegbfeieh ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^CheeseBot ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^CherryPicker ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^CopyRightCheck ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^cosmos ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Crescent ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Custo ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^check_http ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^DISCo ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^DittoSpyder ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^eCatch ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^EmailCollector ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^EroCrawler ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^FlashGet ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Foobot ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^FrontPage ***91;NC,OR***93;
RewriteCond %{HTTP_USER_AGENT} ^GetRight ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^GetWeb! ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Googlebot-Image ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^GrabNet ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Grafula ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Harvest ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^hloader ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^HMView ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^httplib ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^HTTrack ***91;NC,OR***93;
RewriteCond %{HTTP_USER_AGENT} ^humanlinks ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^ia_archiver ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Indy\ Library ***91;NC,OR***93;
RewriteCond %{HTTP_USER_AGENT} ^InfoNaviRobot ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^InterGET ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^JennyBot ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^JetCar ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Kenjin.Spider ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Keyword.Density ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^larbin ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^LexiBot ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^libWeb/clsHTTP ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^LinkextractorPro ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Linkscаn/8.1a.Unix ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^LinkWalker ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^lwp-trivial ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Mata.Hari ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Microsoft.URL ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^MIIxpc ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Mister.PiX ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^moget ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/2 ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/3.Mozilla/2.01 ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Mozilla.*NEWT ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Navroad ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^NearSite ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^NetAnts ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^NetMechanic ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^NetSpider ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^NetZIP ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^NICErsPRO ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^NPBot ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Octopus ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Offline.Explorer ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Openfind ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^pavuk ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^ProPowerBot/2.14 ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^ProWebWalker ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^ProWebWalker ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^QueryN.Metasearch ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^ReGet ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^RepoMonkey ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^RMA ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^SlySearch ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^SpankBot ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^spanner ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^SuperBot ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Surfbot ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^suzuran ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Szukacz/1.4 ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^schibstedsokbot ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Teleport ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Telesoft ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Teemer ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^The.Intraformant ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^TheNomad ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^TightTwatBot ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Titan ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^toCrawl/UrlDispatcher ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^toCrawl/UrlDispatcher ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^True_Robot ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^turingos ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^TurnitinBot/1.5 ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^URLy.Warning ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^VCI ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Wget ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^WebAuto ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^WebBandit ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^WebCopier ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^WebEMailExtrac.* ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^WebEnhancer ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^WebFetch ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Web.Image.Collector ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^WebmasterWorldForumBot ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^WebReaper ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^WebSauger ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Website.Quester ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Webster.Pro ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^WebStripper ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^WebWhаcker ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^WebZip ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Wget ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Widow ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^***91;Ww***93;eb***91;Bb***93;andit ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^WWW-Collector-E ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Xenu's ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Zeus ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^vBSEO ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Trident ***91;OR***93;
RewriteCond %{HTTP_USER_AGENT} ^Sogou
RewriteRule ^(.*)$ http://google.com/

[vold57]

DOleg, использовал вариант, предложенный в стартпосте, только без символа ^.
Проверку делал на Бертале, как вы посоветовали. Все работает.

[DOleg]

Это хорошо, что работает.

только без символа ^

Возможно потому, что это маркер начала строки, а юзер агент там не находится:
Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)

Есть ещё вариант разрешить доступ только определённым Юзер Агентам, прописать только необходимые, а остальные "ты кто такой? давай до свидания"

Код Выделить Развернуть

RewriteCond %{HTTP_USER_AGENT} !(YandexImages) [NC]
RewriteRule ^ - [F,L]