offline

DPF

Guest
offline

Здраствуйте друзъя, возможно запретить закачку сайта и кода offline качалками. Если да, то какой функцией или прописать в.htacess? С уважением Павел.
 

ZPS

electronics
Я частично перекрыл у себя.
Если с одного адреса идет N запросов за N секунд, вместо документа подставляется страничка "Сервер перегружен, попробуйте через секунду снова." и тамже цветом фона десяток ссылок на скриптик который пихает странички с мусором в десятки кб весом.

Если качалка - она скачает N страниц и начнет качать мусор пока халявщик не сообразит, что обломался. Если же пользователь просто очень шустро открывал окошки - он увидит только надпись.
 

neko

tеam neko
DPF
есть способы
но для того чтобы их использовать надо очень четко понимать как работает качалка и как браузер
 

agx

Программер :-)
Может, кто-нибудь даст ссылку на инфу, где можно прочитать, как работают такие качалки? Please!!!
 

vladax

Новичок
Вот список основных оффлайновых качалок:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:[email protected] [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} Indy\ Library [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule ^.* - [F,L]

DPF, пропиши это в .htacess и не парься.
 

Frol

Новичок
интересно, какая современная качалка себя выдаст?
 

neko

tеam neko
Frol
почти все из списка, в руках так называемого "пользователя", который никогда не смотрел в настройки :)
 

vladax

Новичок
интересно, какая современная качалка себя выдаст?
естественно это все так.. пальцем в небо :) но штук пять из них я как то давно проверял - они были честны как дети :)

есть куча других способов бана, например через robots.txt и невидимые ссылки на сайте.
 

Wicked

Новичок
Originally posted by vladax
...и невидимые ссылки на сайте.
Это ссылки с использованием js что ли? :)
Я в js не особо силен, но если это очень критично - отсечь качалки - то можно действительно попробовать что-нть типа этого:
Код:
<a href="#" ... onclick="javascript:window.location = decode(...); void(0);" ...>
Только это и многих юзверей прикончит :)
 

vladax

Новичок
Klaus
Wicked
Что вы уцепились за эти невидимые ссылки? я ведь пиcал не только про них, а про них в купе с файлом robots.txt

Короче, если не догадались, смысл сводится к следующему..
создаешь несколько страниц на сайте, делаешь на них линки (желательно невидимые - юзверям они ни к чему) и запрещаешь поисковикам через роботс.тхт лазить по этим страницам.
Итог - юзвери их не видят, ни один добропорядочный паук не будет лазить по этим страницам, кто зашел - попал в бан.

Разумеется эту схему можно сделать повитиеватей, усложнить - сюда же прикрутить учет кол-ва обращений за нек. время с одного адреса и может что-то ещё.

Да можно даже не делать невидимых линков! Запретить в роботсе.тхт, например, индексить корзину товаров - нафиг она нужна поисковикам! Ну и банить тех, кто при n обращений за n время позарился на Корзину товаров.

Не думаю, что я открыл Америку :)
 
Сверху