Вопрос к старожилам.

[Buldozer]

Вопрос к старожилам.

Есть проект с очень большой нагрузкой на БД, рассматриваю возможность отказаться от БД в сторону обычных файлов. Обсуждалось ли?

 

[Апокалипсис]

Цифры? какая нагрузка? сколько в день? объем базы?

 

[tf]

обсуждалось недавно
оптимизировать надо структуру сайта
откуда такой вердикт - в файлы?

 

[crezd]

Buldozer
лучше переписать код в ассемблер, а если серьезно то файлы это кардинальное решение и то не всегда рациональное, точнее вообще не рациональное...

 

[Buldozer]

Там не сайт, а система сбора статистики "вселенского масштаба" .
Лошадь не моя, и сейчас нет возможности получить статистику, что бы рассмотреть возможность/необходимость/вариант оптимизации БД.
Поэтому просто без вердикта хотел на ночь ин-фу на тему "плоских файлов" почитать. Есть у кого ссылки?

 

[tf]

рассматриваю возможность отказаться от БД

Там не сайт, а система сбора статистики "вселенского масштаба"

жуть
гуголь в помощь + use поиск

 

[Buldozer]

Да вот уже с час гуглю, кроме не очень вменяемых статей в духе "файлы даже лучше БД, потому, что БД подвержена sql инъекциям", найти не могу.

 

[tf]

"файлы даже лучше БД, потому, что БД подвержена sql инъекциям"

в хумор
не то что-то вы ищите
проблема у статистики в чем?

 

[Апокалипсис]

Какая приблизительно нагрузка ожидается? сколько хитов\хостов в день?

 

[Фанат]

Buldozer
Всё очень просто.
Систему СБОРА статистики вполне можно построить на текстовых файлах. Plain text file - самое простое и самое скоростное решение.

А вот систему АНАЛИЗА и ОТОБРАЖЕНИЯ статистики ни на чём, кроме БД, сделать в принципе невозможно.
Так что подсасывай периодически логи в базу и там инфу раскладывай по полочкам

 

[slach]

Топикстартеру

вопрос из серии "а у меня там ооочень бальшая система, и она где то тормозит, как оно работает, я не в курсе, сижу думаю, КАК сделать все КРУТО, вот придумал, ну как? оно хорошо плохо"
в общем пальцем в небо

тебя Апельсинка, конкретные вещи сразу стала спрашивать, почему нет ответа?
почему вообще такой вердикт "есть запрос который грузит базу", с чего ты это взял?

 

[Фанат]

slach
ну, справедливости ради надо сказать, что у статистики одни стандартные грабли - для анализа индексы необходимы, а частые вставки в таблицы с индексами гарантированно кладут базу.

но это, конечно, ниччуть не отменяет сказанного тобой.

 

[Buldozer]

Браты, не ругайтесь… писал же выше, почему данных нет. В понедельник доступ дадут, буду разбираться.
Пока же просто нейтральную от грядущей задачи ин-фу ищу: - «когда при больших нагрузках, отказываются от БД в сторону плоских файлов». Наверняка кто-то видел, поэтому и топик соответствующим образом назвал.

-~{}~ 11.03.07 12:54:

Верно конечно, что вопрос получился: - «хочу то, сам не знаю, что… и не знаю зачем оно мне в итоге нужно».

 

[Kelkos]

однажды видел как была сделана статистика.

1 - все данные валятся в текстовые файлы (новый файл на каждую миниту)
2 - скрипт по крону перед забором новых данных в базу из файлов запускает top и смотри нагрузку на сервер.
3 - если нагрузка не превышает чего то там. (незнаю что именно смотрелось.. толи load average, то ли idle или ещё чего.. х.з.) то цепляет очередной текстовый файл и грузит в базу.
4 - все индексе в базе пущены по специальным полям (числовой хэш). т.е. к каждому текстовумо полу генерится int от первых 8 символов md5. С такими ключами скорость инсертов и селектов удалось поднять на порядок... и размер базы скоратить изрядно.. но иногда возникали совпадении таких хэшей.. но они тут не столько критичны.

5 - ну а дальше всё как обычно. отчётики, графики.. и т.д.

 

[Фанат]

РАЗУМЕЕТСЯ, НИКТО НИКОГДА НЕ ВИДЕЛ, чтобы от БД отказывались в сторону плоских файлов.
Ещё вопросы будут?

-~{}~ 11.03.07 13:04:

Kelkos
Это был сервер в сумасшедшем доме?

 

[Buldozer]

>Ещё вопросы будут?
да нет, спасибо. я уже понял всю "глубину" своего вопроса