Автоматическая обработка видео - крон?

[Сенсей]

Автоматическая обработка видео - крон?

Вобщем есть раздел на сайте где юзеры заливают видео и это видео конвертируется при помощи ffmpeg

Так как проэкт новый и людей мало - то видео вначале просто заливается, и идет сообщение мне - то есть админу. И я уже конвертирую каждый клип в отдельности при помощи php скрипта.

— Что делать когда юзеров будет больше? И когда у меня не будет времени этим заниматься?

— Делать по крону? Не умрет ли сервак если запускать его каждые 10 минут?

— Делать конвертацию налету? Тоже не выход... мало того что скрипт работает все это время пока видео загружается, так еще и ждать пока ffmpeg переконвертирует клип... А что еслиодновременно 10 юзеров загрузят видео и одновременно будет запущен ffmpeg? А если 50 человек? 100? Сервак не умрет?

— Делать крон ночью когда посещаемость маленькая? Так юзерам надоест такой "медленный" сервис ...

— Есть идея такая - человек загрузил видео, запускается ffmpeg - НО что бы скрипт не ждал ответа ffmpeg а сразу выдавал что типа файл загрузился но что бы ffmpeg продолжал конвертить ...

Вобщем помогите определиться и выбрать лучшее решение

 

[Gas]

интерфейс сделать как у youtube, чтоб люди не мучались и не привыкали к новому.
под процессинг для начала выделить отдельный сервак, который по крону процессит видео. Когда одного сервера станет мало, можно например сделать так (вариант естественно не лучший, но думаю иммет право на существование). Видео закачиваются на один upload-сервер, у него запрашивают новые видео на конвертацию другие N серверов. Плюсы - простота реализации и можно очень просто подключать сервера-"конвертеры". Минусы - ляжет upload-сервер и приехали, наверное возможна ситуация когда всё упрётся в сеть, так как upload-сервер и кормит всех и принимает.
По правильному тут нужен какой-то балансер, который бы при upload'е видео знал какие сервера менее загружены и на них скидывать работу. Но конкретных советов по поводу балансера дать не могу, более опытные товарищи щас напишут чё-то по-толковее (Хотя nginx как простое решение подойдёт)

 

[pilot911]

можно создать несколько action серверов, на которые из формы загружаются видео и которые занимаются непосредственно конвертированием

выбор серваков должен быть рандомным при формировании url для <form action="......"

 

[grigori]

Gas
тут еще совсем другой уровень нагрузки - админ руками успевает
кроном под nice должно нормально работать

-~{}~ 01.09.08 01:12:

да, только не забудь проверку паралельности исполнения, чтобы два конвертора одновременно не работали

 

[Alexandre]

у меня идет долгоиграющая обработка графики в бэдграундовом процессе.
Как это делается буду вещать на Hi++
Как будут готовы презенташки выложу.

есть вопросы - задавай.

 

[Сенсей]

grigori
Вот про нагрузку ты прав... пока что небольшая... да и строить ютуб не собираюсь... сайт месный - израильский... страна маленькая - думаю будет тысяч 10 посетителей - я буду вторым по популярности =))

вот на такую нагрузку надо расчитывать....

всем спасибо про инфу про сервера. будем копить денюжки...

 

[nirex]

выбор серваков должен быть рандомным - это в корне не верно , можно написать loadbalancer и будет гуд

 

[JOSS-PHP]

nirex +1