Наплыв входящего зарубежного трафика на сервер. Что делать?

[izx]

Наплыв входящего зарубежного трафика на сервер. Что делать?

Есть сервер в мастерхосте. Трафик предоставляется бесплатно при условии, что российский больше зарубежного, а исходящий больше входящего в 4 раза.
В сутки обычно раньше было
Исходящего 120 Гб (Российский 60%)
Входящего 12 Гб (Российский 60%)

Только что в панели управления мастерхоста обнаружил нарушение соотношения по трафику.

За последние 2 дня по статистике в панели управления мастерхоста исходящий не изменился.
Но входящего стало 62 Гб в сутки(Российский 11%)

То есть получил около 50 Гб входящего зарубежного трафика в сутки.
Написал в суппорт. Они сказали, что могут лишь отрубить весь зарубежный трафик.

На сервере стоит Linux debian ядро 2.4.29
Торможений в работе сайта не заметил.
В данное время большого зарубежного трафика уже нет, то есть если это была атака, то она закончилась.

Нашел странный скачок трафика в логах сетевой карты сервера сегодня в 14:35
Данные команды sar -n DEV

               IFACE   rxpck/s   txpck/s   rxbyt/s   txbyt/s   rxcmp/s   txcmp/s  rxmcst/s
14:15:02         eth0   2231.71   2284.93 424077.57 2268779.79      0.00      0.00      0.00
14:25:01         eth0   2287.64   2376.53 399741.08 2513454.51      0.00      0.00      0.00
14:35:01         eth0 5734391.54 5852661.08 3047116.00 2343839.53      0.00      0.00      0.00
14:45:04         eth0   2255.90   2351.08 389081.00 2481800.62      0.00      0.00      0.00

То есть в обычное время происходит прием около 2200 пакетов в секунду, то в 14:35 происходил прием 5 734 391 пакетов в секунду. Увеличение количества пакетов в 2500 раз!!!

Вопросы.
1. Кто ни будь с этим сталкивался? Что это могло быть?
2. Какие технические меры можно предпринять для поиска и устранения причин этого? Подскажите какими командами Linux можно еще поискать причину этого?

 

[ys]

Анализировать трафик.
Иногда втыкать лицо в trafshow и tcpdump.
Чтобы забугорного было меньше - сливать какое-нибудь г. с российских сайтов (автоматом) и заливать его обратно...

Процесс заливки/слива можно автоматизировать в зависимости от забугорного трафика помноженного на нужное число.
Мотивация для провайдера - "делаю бекапы"

 

[MiksIr]

Похоже на дос какой-то, может и не преднамеренный. Защитится от этого нельзя, в общем. Даже в случае доса трафик будет учтен (об этом, кажется, даже есть в договоре).
Если не чувствуете себя уверенными в постоянном мониторинге, то уповайте, что "все будет хорошо" =) В купе в тем, что не стоит ходить "по краю" балансов трафика, что бы такие случайные выбросы не меняли картину в целом (платный трафик же по итогам месяца, вроде)

 

[izx]

Сейчас поток зарубежного входящего вроде прекратился.
За 2 дня набежало 100 Гб входящего, зарубежного. (по 50 Гб в сутки)
Если это был ДДОС, то создать такой трафик злоумышленникам было нет так просто.

 

[Vallar_ultra]

izx

ООО, вот это как раз ты зря так думаешь..... 50 Гб 1000 ботов тебе и за час-другой без напряга нафигачит....

 

[nerezus]

> то создать такой трафик злоумышленникам было нет так просто.

Поток 800мбит - не шутка
Так сайт ддосили, где я СМ )

 

[Alexandre]

у меня такаяже проблема, провайдер Караван берет за зарубежный трафик деньги.
Провайдер дал анализ входящего трафика - 8Гб в мес сожрал Гугль робот.
Я сделал скрипт, который все Гуглевские запросы на апач скидывал в лог, получил в день лог в 6М
6М *30 должно выйти 180 М, но не 8Гб...

Может ли Провайдер приписывать или врать?

вообще - что делать? может Гугль еще запрашивать еще по другим портам...отличным от 80го?

 

[WP]

А может ли человек врать? =) Обычная ситуация. Знакомый компенсировал трафик.

 

[Bermuda]

Автор оригинала: Alexandre
получил в день лог в 6М
6М *30 должно выйти 180 М

А робот гугла сайт сканирует равномерно по времени?

 

[phprus]

Alexandre
А кто сказал, что гугл качает только html-файлы? Он еще и картинки качает.

А анализировать сколько трафика сожрал гугл нужно по user-agent'у из access.log апача так как туда точно записываются все запросы Google-бота.

 

[izx]

Автор оригинала: Alexandre
у меня такаяже проблема, провайдер Караван берет за зарубежный трафик деньги.
Провайдер дал анализ входящего трафика - 8Гб в мес сожрал Гугль робот.
Я сделал скрипт, который все Гуглевские запросы на апач скидывал в лог, получил в день лог в 6М
6М *30 должно выйти 180 М, но не 8Гб...

Может ли Провайдер приписывать или врать?

вообще - что делать? может Гугль еще запрашивать еще по другим портам...отличным от 80го?

Я бы на вашем месте сменил хостера.
Например, мастерхост не считает трафик гугла зарубежным.

 

[Alexandre]

А робот гугла сайт сканирует равномерно по времени?

не проверял...

А кто сказал, что гугл качает только html-файлы? Он еще и картинки качает.

Да, но трафик входящий...все равно много. Не может быть так много GET запросов. Да и зачем Гуглу картинки? если можно ссылкина них отдавать.

А анализировать сколько трафика сожрал гугл нужно по user-agent'у из access.log апача так как туда точно записываются все запросы Google-бота.

ок, просмотрю на предмет картинок по логу. (я смотрю по IP)

 

[phprus]

Alexandre
Про то, что трафик входящий не заметил. Я думал, что исходящий.

Да и зачем Гуглу картинки?

А разве поиск по картинкам у гугла кто-то выключил?

я смотрю по IP

У гугла много разных ip по этому лучше еще смотреть и по User-agentу

 

[Alexandre]

.