(реклама) семинар "Принципы построения масштабируемых высоконагруженных веб-проектов

fisher

накатила суть
(реклама) семинар "Принципы построения масштабируемых высоконагруженных веб-проектов

С разрешения Саши :)
http://highload.ru/news/12601.html
кратко - это реинкарнация семинара что был разок на пхпкоф (в 2007 наверное) - но значительно переработанный.
Короче, пока есть ещё какое-то количество мест (типа, около десятка на пятницу утро), стоит вроде пока 5 штук.
Это 14 октября, на хайлоад идти при этом необязательно (по прошлому разу меньше половины было на хайлоаде).
Если кто был на прошлых - напишите отзывы, и хорошие, и плохие. Необходимый подготовительный уровень - почти любой, расчитано на максимально широкую аудиторию. Будет предваритеольный сбор тем на обсуждение - можно что-то заранее попросить рассказать-узнать.
Самые важные темы
* основные компоненты и характеристики: веб-сервера, сервера приложений и сервера баз данных
* что такое стоимость владения и какая должна быть масштабируемость
* масштабирование в пространстве (разделение по серверам или "физически" разным под-системам) и времени (компонентое/сервисное разделение, асинхронная обработка)
* пост-процессинг и realtime, показывать и хранить (обсчитывать) - две большие разницы
* шардинг
* очереди
* сервисы
* кеширование
* некоторые кейсы, демонстрирующие принципы разработки
* мониторинг, поиск узких мест, что обычно тупит,
* как просчитывать и планировать развитие, техническое управление highload-проектом, типичные проблемы и пути их решений
 

Alexandre

PHPПенсионер
я не был, но знаю лично fisher, его участие в проектах, видел его выступление на конференции и очень рекомендую!
 

Krishna

Продался Java
А я видел выступление fisherа на семинаре "MySQL vs PostrgeSQL", где он вроде как представлял сторону MySQL. Суть речи была такая, ну мы тут в Баду проект построили на версии 4.0, собственно всё масштабирование сделали напильником вручную и у нас всё круто работает.

Нафиг было выходить с таким докладом на том семинаре я так и не понял :)
 

fisher

накатила суть
ха! встреча mug-pug действительно была довольно попсовой - дело было года полтора назад, кто ходил помнит что формат выступления там был - 5 минут ;) меня костя осипов из mysql team попросил выcтупить со стороны mug как мы используем mysql - и я в-общем просто рассказал как. далее по тексту - вранье минимум про версию, с 4.0 мы мигрировали мамбу и очень устали ещё в 2005-м, поскольку в этой ветке utf толком не было, это раз. два - масштабирование не вручную на таких проектах не делается нигде до сих пор (у нас на тот момент было 18 млн , а сейчас 47 млн пользователей - а архитектура закладывалась ещё в 2005-м). три - не в версиях и напильниках дело, но за пять минут не донести, да, особенно тем, кто заранее настроен не очень-то дружелюбно ;)
 

Krishna

Продался Java
Я был настроен абсолютно нейтрально, если речь обо мне :)
Ну, значит 4.1, дело то было "полтора года назад", моя память не безгранична. Главное, что запомнилось = речь шла о морально устаревшей версии - раз, и основная мысль доклада была что "нам не надо никаких наворотов, мы всё сделали руками".

То есть, по-моему было скорее рекламой проекта и себя, что в контексте сравнения двух конкретных решений СУБД малоинтересно, а не информативным рассказом о возможностях последних версий MySQL в плане масштабирования.
 

Alexandre

PHPПенсионер
и основная мысль доклада была что "нам не надо никаких наворотов, мы всё сделали руками".
когда речь идет от 10 млн то речь о всяких ресурсоемких наворотах можно забыть (типа кластер или прокси).
чем проще - тем быстрее. тут задействованы иные принципы масштабирования, которые за 5 мин действительно трудно донести.

440Hz занимался разработкой нагруженной системы биллинга и поднял кластер из пять серверов. После некоторого времени эксплуатации он сказал, в следующем проекте буду применять шардинг!

хотите услышать как поднять шардинг на 40 млн юзеров - сходите на Фишеровский мастер-класс!
 

fisher

накатила суть
Автор оригинала: Krishna
речь шла о морально устаревшей версии - раз, и основная мысль доклада была что "нам не надо никаких наворотов, мы всё сделали руками".
Пятерка годами была сырой и сильно хуже четверки, и ни один независимый консультант её не посоветовал бы поставить. Только этой весной в официальный релиз пятерку вошли аналоги гуглопатчей - а их в гугле сделали уже год или два к этому моменту - и это всё после того, как уже вышла сторонняя xtradb! это весна 2009, а стреча была сильно раньше. Касательно "наворотов". Навороты внутри "компонент" - это масштаб более мелкий, в проекте типа нашего выигрывает удачные решения на более крупных масштабах, а навороты часто наоборот мешают. Классический пример - попытки растянуть на несколько серверов какую-то оракловую или посгресовкую базу с кучей сложных запросов-триггеров-хранимок. Но это всё очень долгий разговор, google it (decoupling, share nothing etc).

Автор оригинала: Krishna
То есть, по-моему было скорее рекламой проекта и себя, что в контексте сравнения двух конкретных решений СУБД малоинтересно, а не информативным рассказом о возможностях последних версий MySQL в плане масштабирования.
MySQL ничего из коробки для таких проектах, как наш не умеет, это да. Я думаю, что и постгрес не умеет. Вот именно этот посыл и был донесен, и я этому очень рад. "Информативный рассказ о возможностях последних версий MySQL в плане масштабирования" - люди часто хотят невозможного, и потом очень расстраиваются, когда им говорят "вы знаете, на практике это невозможно" или "вы не должны этого хотеть". Ну что ж, селяви. Послущайте-почитайте что умеет дризл и как он позиционируется и почему при минимуме наворотов он считается потенциальной заменой мыскля для больших проектов.
 

whirlwind

TDD infected, paranoid
Автор оригинала: Alexandre
поднять шардинг на 40 млн юзеров
Даже боюсь предположить, что это за биллинговый-проект такой, по колву пользователей рассчитанный на треть нашей необъятной.
 

Alexandre

PHPПенсионер
Даже боюсь предположить, что это за биллинговый-проект такой, по колву пользователей рассчитанный на треть нашей необъятной.
поясню
биллинг - это не фишеровский проект на 40 лимонов
и биллинг не наш, а штатовский
 

StUV

Rotaredom
Классический пример - попытки растянуть на несколько серверов какую-то оракловую или посгресовкую базу
fisher
а можно линк на "классический пример" ?..
 

Alexandre

PHPПенсионер
об этом очень любит рассказывать Петр Зайцев
и из его уст все очень красиво и быстро работает...

-~{}~ 13.10.09 19:07:

закончил смотреть трансляцию
мне понравилось
 
Сверху