Боты, кругом боты...

[Chushkin]

Вот уже несколько часов наблюдаю, как какой-то криво настроенный бот какого-то перца сканирует первую страницу сайта (и все страницы по ссылкам с неё, ad.pesow.com) и пытается отослать форму(данные) на сервер.
И не определишь, что бот - заходит с разных IP, агент вполне приличный и даже куки поддерживает (правда сбрасывает, когда с нового IP заходит).
В т.ч. у этого перца Skymonk стоит (кстати, кривоватая прога) - нафига натравил её на сайт, непонятно.

Было тут пару недель назад, какой-то забугорный бот вцепился и засылал всякую абракадабру. Тогда отбился - может его опять "натравливают".
А недавно, какой-то новый бот объявился - GSLFbot. Я о нем даже и не знал, до того :\
Ну как тут бедному крестьянину надёжно отделять мух (в смысле, боты) от котлет...

 

[fixxxer]

Пытаться выцепить ботов по каким-то заголовкам - бесполезное занятие.
Надо делать так, чтобы они не могли навредить. Не отфильтруешь все равно никогда, забудь

 

[fixxxer]

Я не про нормальных, разумеется.

 

[cwi-master]

Ну вот типа так:

На первом скрине - статистика сайта в моей самодельной админке, фильтр ботов включён, и в подробной статистике их не показывает (хотя их многовато)


А на втором скрине - фильтр ботов выключен, и боты всё заполонили.


Как видно из данных браузера, большая часть ботов, может быть легко выявлена, по наличию элементов url или email, в данных браузера
например:

"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html" - можно выявлять по "+http" или "+h" или "+" или "bot"
"Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" - можно выявлять по "+http" или "+h" или "+" или "bot"
"Mozilla/5.0 (compatible; Nigma.ru/3.0; [email protected])" - можно выявлять по "@"
"SolomonoBot/1.02 (http://www.solomono.ru)" - можно выявлять по "http" или "Bot"

Ну а с этими в основном, по именам их собственным:
"Google-Site-Verification/1.0" - (проверялка сайтов)
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/534.51 (KHTML, like Gecko; Google Web Preview) Chrome/12.0.742 Safari/534.51" - (бот показа сайта прямо на странице гугла)
"Mail.RU/2.0" - (бот майл-ру)
"Wget/1.10.2" - (вроде как програмка закачки, или бот с ней связаный)
"GSLFbot"
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; NN4.1.0.0; .NET CLR 1.0.3705; .NET CLR 1.1.4322; Media Center PC 4.0; .NET CLR 2.0.50727; MSIECrawler) - (Спам-бот)
http://yandos.ru-BOT(v.1.9) - странный бот, толи яндекса толи другой поисковой системы.

Есть и ещё с мудрёными названиями... и будут появляться.
Но я заметил, что заглядывают такие экзотические боты на сайт, весьма редко, и не перебирают его весь.
Ну а нам остаётся выявлять их в логах, и добавлять строки, по которым их можно опознавать, в фильтр (удобней всего иметь в админке текстовое поле, где через запятую, перечислять строки, по которым идёт фильтрация ботов.)


Вот ещё есть статейка с неплохим фильтром спам-ботов, которые на сайте явно лишние, и их стоит банить:
http://blognot.su/2008/08/spisok-spam-botov

 

[cwi-master]

А ещё бывает вот такое интересное кино, прям вестерн:




Интересно, что за неопознаваемый браузер или бот... но прошарил он по сайту, скорее как бот, чем как юзер.
А попытка взлома сервера, вообще повеселила ))) темболее что за год до этого, была такая же точно, с такими же "успехами" )))
Бедолага-хакер не понял, что все модули сайта, подключаются исключительно через switch - case
Но похоже, это не ручками всё спамилось, а как будто какой-то прогой, потому что очень уж частые попытки...
Ну пресечь их элементарно можно, опознав по элементам навроде "../" или "etc/" или имени файлов, и автоматически блочить ip.

 

[zerkms]

И ботов-крякалок хватает - у меня каждый сайт регулярно, по несколько раз в месяц, пытаются взломать, в основном по известным/предпологаемым дырам в распространнённом ПО. В общем, - тоже не напряг.

Я таких выпиливаю fail2ban'ом

 

[vovanium]

Chushkin

Вот с ними надо бороться. Но тяжко, каждый маскируется как может

Я у себя поведенческие фильтры юзаю, каждый день около полусотни сообщений отсеивается. Причем забавно, что UA какие-то древние юзают даже MSIE 3.02

 

[AmdY]

Алё, Перец с Дона, настрой свой бот нормально, а уж потом скачивай сайт...

[ирония]Я тебя услышал, больше так не буду[/ирония]
Закрываю тему или ты ещё хочешь всем рассказать как хорошо вчера в носу поколупался или в туалет сходил?

 

[baev]

Это ж спам, самый натуральный.
Банить за такое надо.