Борьба с picture grabber

  • Автор темы Автор темы dvp
  • Дата начала Дата начала

dvp

Новичок
Борьба с picture grabber

Мастера. Мучит меня который день вопрос: как же мне защитить мой сайт, который является каталогом обоев, защитить от так называемых граберов картинок (которые ходят по сайту и сливает все встретившиеся картинки)?
Понятно, что 100% защита - это не показывать картинки никому, но всё-таки какие-никакие извороты придумать можно.

Какие у меня самого мысли:

- первая идея была использовать jaascript для генерации src картинок. Защита надёжная (чтобы сграбить придётся изучить сайт и сделать под него индивидульную грабилку, а я уж постараюсь сделать javascript непредсказуемым), но вот не люблю я его - не у всех он есть (включен), а с выходом всяких SP2 вообще страшно его пользовать стало - чуть что - "сайт пытается нарушить безопасность".... в общем эту мысль я отмёл сразу.......

- второй вариант: составить список признаков этих самых грабберов (что они в HTTP-запросах пишут: User-Agent, Accept), и если граббер имеет глупость представить себя "на пробел" не так как браузер, под который он маскирется, то банить его..... в принципе на практике результативно оказалось: парочка грабберов облажалась и не некорректно смаскировалась под IE6, но не все .......
Минусы такого подхода очевидны: придётся следить за обновлениями браузеров и Грабберов. Да и персоняльно под мой сайт не сложно будет написать граббер ...........не катит.........

- Третий вариант: Считать частоту хитов с хоста, и если она "нечеловеческая" - банить. Вариант хороший, но ровен час, как какому-нить посетителю не повезёт и он зайдёт с одного хоста с граббером.
Этот вариант мне не по душе.

- Четвёртый вариант - мой любимый: Сделать сайт на XSL(для тех, кто поддерживает, а для остальных XHTML). Тогда грабберы, которые косят под IE6 (а именно так они и делают чаще всего), будут получать XML-ку и обломаются. Но те, кто косит под Opera (а вдруг такие есть) и те, кто позволяют вписать нужный User-Agent всё-таки смогут получать XHTML, а значит и урлы картинок.
Хоть вариент не ахти, но он не мешает двум другим, поэтому его я реализовал ( http://autowp.ru/ ).

Теперь думаю, что делать с "совсем умными" грабилками? Не поможете?


Да, если кто-нибудь знает названия грабилок - неполенитесь - напишите. Хочу изучить их.

p.s. картинки мне не жалко - мне за трафик платить жалко

-~{}~ 19.01.05 02:03:

Ой :-( Случайно вместо "PHP для продвинутых" создал топик в Юморе. Модераторы, не исправите?
 
Как человек, написавший несколько программ из той категории, с которой ты хочешь бороться, кратко перечислю почему твои варианты не будут работать:

1. Rhino.
2 и 3. Хороший граббер использует настоящие UA-Names и набор проксей.
4. Если робота настраивают персонально под твой сайт, то XML не мешает абсолютно.

Так что ты для начала определись: будешь бороться с тупыми пионерами или с профессиональным инструментом? Для тупых пионеров достаточно третьего пункта.
 
Хотелось бы конечно бороться со всеми сразу. Но я уверен на 100%, что при персональном подходе к задаче сграбить всё с сайта, это будет сделано.
Поэтому полагаю, что имеет смысл защититься от имеющихся в свободном доступе инструментов граба. Ну или как программа максимум: осложнить процесс реализации индивидуального подхода.
 
Crazy
он уже сказал чего хочет - снизить исходящий траффик сайта ;)
а для ответа на твой вопрос уже надо изучать конкретную статистику
 
поскольку с грабберами не сталкивался (ни по одну сторону баррикад) у меня вопрос - граббер наверняка выбирает ссылки очень быстро и пытается скачивать сразу по многим ссылкам? может по этому параметру пытатся отслеживать? но это в любом случае должна быть комплексная защита.
 
А если обратить недостаток в преимущество?

Вот, владельцы caricatura.ru говорят, что живут за счет исходящего траффика, ибо хостятся где надо.
 
Теперь думаю, что делать с "совсем умными" грабилками? Не поможете?
ни-че-го
потому что потому
я думаю нет смысла это повторять еще раз но клиент от клиента отличается ровно настолько насколько того хочет
 
Long, правильно говоришь, но есть пользователи, которые тоже любят открыть сразу 15-20 картинок и пойти покурить, пока они качаются.
 
dvp, если вводится защита, то она по определению ограничивает пользователя в возможностях. к защите можно выдвинуть определенные требования - лояльных пользователей ограничивать как можно меньше в правах. исходя из этого и строй свою защиту.
 
Сверху