Борьба с picture grabber

dvp

Новичок
Борьба с picture grabber

Мастера. Мучит меня который день вопрос: как же мне защитить мой сайт, который является каталогом обоев, защитить от так называемых граберов картинок (которые ходят по сайту и сливает все встретившиеся картинки)?
Понятно, что 100% защита - это не показывать картинки никому, но всё-таки какие-никакие извороты придумать можно.

Какие у меня самого мысли:

- первая идея была использовать jaascript для генерации src картинок. Защита надёжная (чтобы сграбить придётся изучить сайт и сделать под него индивидульную грабилку, а я уж постараюсь сделать javascript непредсказуемым), но вот не люблю я его - не у всех он есть (включен), а с выходом всяких SP2 вообще страшно его пользовать стало - чуть что - "сайт пытается нарушить безопасность".... в общем эту мысль я отмёл сразу.......

- второй вариант: составить список признаков этих самых грабберов (что они в HTTP-запросах пишут: User-Agent, Accept), и если граббер имеет глупость представить себя "на пробел" не так как браузер, под который он маскирется, то банить его..... в принципе на практике результативно оказалось: парочка грабберов облажалась и не некорректно смаскировалась под IE6, но не все .......
Минусы такого подхода очевидны: придётся следить за обновлениями браузеров и Грабберов. Да и персоняльно под мой сайт не сложно будет написать граббер ...........не катит.........

- Третий вариант: Считать частоту хитов с хоста, и если она "нечеловеческая" - банить. Вариант хороший, но ровен час, как какому-нить посетителю не повезёт и он зайдёт с одного хоста с граббером.
Этот вариант мне не по душе.

- Четвёртый вариант - мой любимый: Сделать сайт на XSL(для тех, кто поддерживает, а для остальных XHTML). Тогда грабберы, которые косят под IE6 (а именно так они и делают чаще всего), будут получать XML-ку и обломаются. Но те, кто косит под Opera (а вдруг такие есть) и те, кто позволяют вписать нужный User-Agent всё-таки смогут получать XHTML, а значит и урлы картинок.
Хоть вариент не ахти, но он не мешает двум другим, поэтому его я реализовал ( http://autowp.ru/ ).

Теперь думаю, что делать с "совсем умными" грабилками? Не поможете?


Да, если кто-нибудь знает названия грабилок - неполенитесь - напишите. Хочу изучить их.

p.s. картинки мне не жалко - мне за трафик платить жалко

-~{}~ 19.01.05 02:03:

Ой :-( Случайно вместо "PHP для продвинутых" создал топик в Юморе. Модераторы, не исправите?
 

Crazy

Developer
Как человек, написавший несколько программ из той категории, с которой ты хочешь бороться, кратко перечислю почему твои варианты не будут работать:

1. Rhino.
2 и 3. Хороший граббер использует настоящие UA-Names и набор проксей.
4. Если робота настраивают персонально под твой сайт, то XML не мешает абсолютно.

Так что ты для начала определись: будешь бороться с тупыми пионерами или с профессиональным инструментом? Для тупых пионеров достаточно третьего пункта.
 

dvp

Новичок
Хотелось бы конечно бороться со всеми сразу. Но я уверен на 100%, что при персональном подходе к задаче сграбить всё с сайта, это будет сделано.
Поэтому полагаю, что имеет смысл защититься от имеющихся в свободном доступе инструментов граба. Ну или как программа максимум: осложнить процесс реализации индивидуального подхода.
 

HEm

Сетевой бобер
Crazy
он уже сказал чего хочет - снизить исходящий траффик сайта ;)
а для ответа на твой вопрос уже надо изучать конкретную статистику
 

Long

Новичок
поскольку с грабберами не сталкивался (ни по одну сторону баррикад) у меня вопрос - граббер наверняка выбирает ссылки очень быстро и пытается скачивать сразу по многим ссылкам? может по этому параметру пытатся отслеживать? но это в любом случае должна быть комплексная защита.
 

kruglov

Новичок
А если обратить недостаток в преимущество?

Вот, владельцы caricatura.ru говорят, что живут за счет исходящего траффика, ибо хостятся где надо.
 

neko

tеam neko
Теперь думаю, что делать с "совсем умными" грабилками? Не поможете?
ни-че-го
потому что потому
я думаю нет смысла это повторять еще раз но клиент от клиента отличается ровно настолько насколько того хочет
 

dvp

Новичок
Long, правильно говоришь, но есть пользователи, которые тоже любят открыть сразу 15-20 картинок и пойти покурить, пока они качаются.
 

Long

Новичок
dvp, если вводится защита, то она по определению ограничивает пользователя в возможностях. к защите можно выдвинуть определенные требования - лояльных пользователей ограничивать как можно меньше в правах. исходя из этого и строй свою защиту.
 
Сверху