Закачать тяжелые файлы

[bruto]

Здравствуйте!

Подскажите есть ли какой нибудь "красивый" способ закачки тяжелых файлов (через форму пользователя) - более 100мб.
Или все упирается исключительно в настройки сервера и php.ini?

Спасибо!

 

[AnrDaemon]

Ну, это не серьёзно.
Гуглить пробовали?

 

[bruto]

Да. Ничего не получилось найти.

 

[fixxxer]

Гугли по html5 javascript file upload progress

 

[AnrDaemon]

google:resumable+file+uploads

 

[AnrDaemon]

uploadprogress это модуль, позволяющий получить в JS прогресс закачки, но к самой закачке он никак не относится, т.е. вообще.

 

[fixxxer]

Он просил красивый.

 

[WMix]

Он просил красивый.

https://www.google.de/search?q=beautiful+ajax+upload

 

[grigori]

@bruto, на клиенте бить на фреймы в JS и объединять на сервере. На сервере для хранилища можно взять ClickHouse, Swift или промежуточно хранить куски в Redis.

 

[fixxxer]

если уж на то пошло, незавершенным аплоадам вообще нечего доходить до php, вон например на nginx-lua извращаются: https://github.com/pgaertig/nginx-big-upload, https://github.com/openresty/lua-resty-upload итд

 

[grigori]

@fixxxer, кто возьмет фронт-серверов пачку, тот получит разброс чанков по разным серверам

я как-раз занимаюсь этой задачей, на нескольких десятках серверов все не так просто

 

[fixxxer]

В таких случаях часто удобнее отдать хост конкретного upload-сервера, а балансировать на уровне генерации хостнейма.
Тем более, все равно обычно аплоад-сервер - это отдельная роль, там какая-нибудь конвертация и аплоад на сторадж.

 

[grigori]

@fixxxer, выделение серверов для аплоада не решает проблему обеспечения data integrity для случая, например, race condition чанков. Чем-то в CAP нужно жертвовать, и явно не целостностью. Поэтому нужен единый источник знаний о чанках, загружаемых через любой сервер.

 

[fixxxer]

это уже надо решать на уровне протокола, который тут в любом случае придется изобретать. Там в этих луа-поделках какое-то подобие такого протокола и есть, я детально не вникал.

 

[grigori]

протокол поможет в самой передаче, а чанки надо координировать на уровне сервера - или общая распределенная ФС вроде hadoop, или хранилище в памяти вроде редиса, или базка с хорошей репликацией наподобие постгреса/ClickHouse

 

[fixxxer]

если один аплоад всегда лить на один сервер, можно обойтись и локальной фс

upd: а если нет - я бы предпочел какой-нить ceph

 

[grigori]

нельзя - SPOF, да и количество одновременных соединений на порядок больше 10k

 

[fixxxer]

чанки в разные дц - это уж слишком

 

[grigori]

чанки в разные дц - это уж слишком

да, это не фактор, разные ДЦ в основном для сохранности

 

[A1x]

с чанками или без чанков - все упирается в браузер. Браузер тупо виснет при попытках аплоада файлов сколько нибудь больше 1 ГБ
Ну может с чанками виснет чуть позже