Система сбора статистики

[Сергей Тарасов]

Система сбора статистики

Система сбора статистики

Привет Всем!

Стоит задача написания некого сервиса сбора статистики с помощью счетчиков(SpyLog, Hotlog, LiveInternet).
В ощем как такового опыта по крпным проектам такой тематики нет, только мелкие внутренние разработки.
Пока система видится как:
1) Есть 1 таблица "горячей" статистики, куда собственно сливаются свежие записи(время, хост, реферер, разрешение, и т.п.)
2) Через какие-то промежутки времени данные из таблицы агрегируются, таблица чистится.

Может у кого-то есть ссылки на примеры работ или статьи по данной теме?
Мысли?
Поделитесь!!!

Заранее Спасибо!! )

 

[magic]

А что собственно интересует?

 

[Сергей Тарасов]

Любая информация.

 

[sani]

Так ты зайди на yandex.ru, и в поиску напиши "счетчик на php mysql", вот я тут выложил самое на мой взгляд толковое описание...

http://www.webmastak.com/articles/2005/01/09/php-mysql-gd/

 

[Сергей Тарасов]

Нет, это то все понятно...
Как сделать счетчик, как картинку, как текст и проче...

Этим я занимался в рамках метечковых локальных разработок.

Вопрос в том, как построить архитектуру системы, для которой планируется серьезная нагрузка!

sani
Все равно спасибо, что откликнулся!

 

[MadMike]

Пойди работать, например, в спайлог. Там тебя и научат ))

 

[Сергей Тарасов]

Очень дельный совет конечно... )
Может что-то более конкретное?..

 

[AnToXa]

да уж водку пить в спайлоге точно научат )

 

[Сергей Тарасов]

Кто-нибудь что-нибудь подскажет более реальное или никто не хочет делиться опытом?

 

[AnToXa]

задайте вопрос конкретнее.
архитектура - такое очень умное слово, это да.

 

[Сергей Тарасов]

Каков принцип агрегации статистики?
Как лучше организовать таблицы?
Как и когда чичтить таблицы?
И т.д...

 

[AnToXa]

Каков принцип агрегации статистики?

myisam без индексов для первичных hot логов, вот ваше первый пункт. + можно Insert delayed еще.

раз в N секунд(3600 например ) скидываем куда-то в другие таблицы, генерим отчеты и аггрегированые данные как оно вам там надо, для каждого сайта отдельно например, отсюда же можно строить всякие "call graph", т.е. пути хождения по сайту.

-~{}~ 15.05.06 00:38:

я вот еще не очень понимаю эту фразу

Стоит задача написания некого сервиса сбора статистики с помощью счетчиков(SpyLog, Hotlog, LiveInternet).

это вам надо статистику собрать с помощью указаных счетчиков? или нужно систему a-la указаные?

anyway, конкретнее еще, не общие вопросы, а прям конкретную задачу, а то говорить об общих вопросах можно долго и без толку.

 

[Сергей Тарасов]

Систему а-ля указанные.
Только значительно меньшего масштаба...
Пока...

 

[AnToXa]

хм а зачем на пхп + mysql ?

ну если меньших масштабов, то имхо даже таких простых вещей должно хватить, у вас первое время буддет скорее тормозить не база, а imagemagic/gd при создании картинки для показа

 

[Alexandre]

как построить архитектуру системы, для которой планируется серьезная нагрузка!
Систему а-ля указанные

ну тут одним сервером точно не обойдешься,
один сервер собирает статистику,
один ее отдает
БД на отдельный сервер

пхп + mysql

- пхп только для отображения статистики (второй сервер), для сбора однозначно или java, cgi на худой случай perl.
Архитектура начинается с малого, например предже чем построить дом - построй баню..

нормальная нагрузка на средний двухпроцессорного сервака для пхп до 25 -30 тыс уникув в день. Если у хотлога

Обработано запросов: Сегодня: 17.931.058

, то расчитай железо.

 

[AnToXa]

<пространные размышления>а ведь человек может вас, Alexandre, послушать, вы отдаете себе отчет в том что советуете?</пространные размышления>

 

[Сергей Тарасов]

А что?

 

[MadMike]

AnToXa
+1

 

[AnToXa]

Автор оригинала: Сергей Тарасов
А что?

а то что высосаны из пальца утверждения, без привязки к задаче ничего сказать нельзя.
а вот это:

нормальная нагрузка на средний двухпроцессорного сервака для пхп до 25 -30 тыс уникув в день. Если у хотлога

вообще хит сезона.

-~{}~ 15.05.06 18:35:

Автор оригинала: MadMike
AnToXa
+1

ты насчет какого из сообщений? дай угадаю, про водку?

 

[MadMike]

Про оба
Но 25 -30 тыс уникув в день - это надо записать на память
К счастью, я пришел в сеть уже после того, как все такие сервера были выброшены на свалку ))

Я бы все-таки оценил нормальный 2-хпроцессорный сервак где-нибудь в 2-3 мульта хитов картинок...

А про водку - лучше к нам, мы плохому научим

Вообще, люди, которые могут грамотно ответить на такие вопросы работают в нескольких известных компаниях и отвечать будут только за приличное бабло