Запретить бота в .htaccess

Автор zigli, 07-07-2011, 20:33:30

« назад - далее »

zigliTopic starter

Здравствуйте. Собственно, есть сайт, он длительное время наполнялся уникальным контентом (в основном это были новости). Все было просто прекрасно, до поры до времени. И вдруг, я обнаружил, что новости с сайта ворует другой ГС. Материал с сайта "уходит" через RSS ленту, воруют не стесняясь. И так, вот он гнида(сайт), который ворует у меня материал - _simple-news.ru. На протяжении нескольких дней, я думал, что же делать.....обнаружил,что он хостится у _majordomo.ru (казалось бы, уважаемый хостинг, не должен хостить у себя различные сплоги). Думаю, дай напишу в юридическую службу хостинга. Написал, мол как-то нехорошо и тому подобное.... В ответ получил:
Цитироватьв соответствии Гражданским законодательством РФ новости не являются объектом авторских прав.
. Ну, думаю, ладно. Глубоко разочаровавшись (а раньше мне казалось, уважаемая контора, увы :( и ах) отправился дальше размышлять..... Для приличия посмотрел в WHOIS кто является владельцем домена. Как и следовало ожидать, данные закрыты, есть только e-mail, который явно создан только для того, чтобы зарегать домен. Написал я на него для приличия, но ответа не получил. А контент все также оказывался на другом сайте, в итоге дело дошло до того, что две новости проиндексировались на сплоге быстрее, чем у меня. Вот это мне окончательно надоело и я решил перейти к действиям. П.С. Отключить RSS-ленту я не мог, так как новости с него идут к новостным агреторам.  И вдруг мне в голову пришла идея, что если подсунуть в RSS что-нибудь плохое. Убедился в том, что _majordomo.ru не стерпит у себя на сервере пoрно, решил приступать. Попросил новостные агрегаторы временно удалить мой сайт из базы. Первое, что я сделал, это одолжил на каком-то сайте новость и добавил к себе. В новость я добавил несколько ссылок, и одну пoрно картинку. Затем, сплог скушал "новость наживку" со всеми ссылками и разместил у себя. На сплоге _simple-news.ru появилась первая пoрно картинка. Пошел отправлять письмо в юридическую службу мажоров(_majordomo.ru), типо сайт, который хостится у вас, распространяет пoрно....а в ответ тишина,новость с пoрно на сайте.
Ну думаю, как хотите. Решил немного ссылок на свои проекты получить. Добавил в очередную новость ссылки на свои проекты с необходимыми анкорами, сплог и их с удовольствием сожрал. А ответа от юристов "мажора" все нет и нет. Ладно, думаю, решил взять авторскую статью, за которую его точно должны были выкинуть с хостинга, разместил у себя.....но, сплог не взял её себе (странно,я думал он совсем тупой). Затем, пришлось добавить еще одну новость, но в неё я добавил ссылок на пoрно сайты, пoрно картинки, плохие слова, обосрал админа сайта и сплог её с удовольствием скушал.

Теперь перейдем к технической части проблемы (если конечно у вас хватило сил до отсюда прочитать).
1. RSS грабится в промежуток с 0 до 5 минут каждого часа (т.е. 13.00-13.05 и тому подобное).
2. Парсер использует данный сервис (_simplepie.org - заметил в логах).
Попытался заблoкировать IP этого парсера (при помощи .htaccess  ), но их оказалось слишком много.

Теперь перейдем непосредственно к самому вопросу. Я где видел, что можно запретить определенного бота в .htaccess . Посмотрел в логах, и нашел такое:
Цитировать173.230.147.60 - - [03/Jul/2011:05:00:18 +0400] "GET /feed/ HTTP/1.1" 200 13543 "мой_сайт/фид" "SimplePie/1.3-dev (Feed Parser; http://simplepie.org; Allow like Gecko) Build/20110503013105"
При помощи этих данных, можно как-то запретить бота в .htaccess? Если да, то где здесь имя бота? Это "Feed Parser", это "Allow like Gecko" или что-то другое?

П.С. может есть предложения, как мне избавиться от этого сплога? или как защитить от него RSS?

Или есть предложения, что же такого ему вскормить, чтобы его 100% с хостинга поперли? Надо какой-то авторский материал или нет?
Сейчас главное, избавиться от него..... Кстати, кому нужны ссылки с этого сплога(simple-news.ru)? С удовольствием размещу их там(скормлю РСС с ссылками).
Спасибо, если вы хотя бы дочитали до отсюда. П.С. Если с .htaccess  ничего не наколдую, то придется его завтра пoрнухой засирать.
Вот это я и настрочил ??? Кстати, я не перечитывал написанного, так что сильно не ругайтесь :o