бинарный формат

[fixxxer]

По логам в sentry с разных проектов ни разу не видел проблем с частично полученным контентом.
Только в вебсокетах бывает, что фрейм, полученный не целиком, отдается в JS, да и это - только в старых версиях ios safari, и настолько редко, что какие-то проверки там добавлять смысла нет.

 

[флоппик]

По логам в sentry с разных проектов ни разу не видел проблем с частично полученным контентом.
Только в вебсокетах бывает, что фрейм, полученный не целиком, отдается в JS, да и это - только в старых версиях ios safari, и настолько редко, что какие-то проверки там добавлять смысла нет.

Same here. За несколько лет видел ошибки разбора gzip на даже на jumbo frames всего раза три.

 

[grigori]

SSL тоннель обеспечивает целостность неявно. При повреждении соединение разрушается.
gzip так же обеспечивает проверку целостности неявно, но в зависимости от реализации клиента, можно получить обрезанный контент.
Если клиент поддерживает message checksumming https://tools.ietf.org/html/rfc3230 , можно обеспечивать явную проверку целостности.

Разрушение соединения подходит - у меня идет манифест каталога, на уровне приложения перезапрашивает.

rfc3230 - прикольно, не знал о нем, стандартные браузеры его поддерживают?
главная проблема - sha на js на мобильном считать не очень хочется

 

[grigori]

https://developer.mozilla.org/en-US/docs/Web/API/XMLHttpRequest/readyState
С новомодными fetch() не проверял.

как-бы да, на транспортном уровне разнесение по статусам есть
а fetch рано еще

 

[fixxxer]

@grigori, с полифиллом не рано, но, правда, смысла не особо

 

[grigori]

@grigori, с полифиллом

через XHR

 

[fixxxer]

Ну, полифилл не подключится на chromium-based и ff, а это большинство. А вот какая там реализация - фиг его ж знает. Но скорее всего, тоже поверх XHR накрутили

 

[grigori]

в MDN написано, что fetch еще experimental и в следующих версиях не будет поддерживаться совместимость api

 

[fixxxer]

в следующих версиях не будет поддерживаться совместимость api

Думаю, придется, все хипстеры уже его используют

 

[Redjik]

Protobuf можно, но сложности с not invented here, проще велосипед придумать.

Гриша, thrift посмотри еще

 

[AmdY]

Ну, полифилл не подключится на chromium-based и ff, а это большинство. А вот какая там реализация - фиг его ж знает. Но скорее всего, тоже поверх XHR накрутили

боже упаси использовать fetch и прочую дрянь из es6, с обычным таймайтом вылазит куча проблем.

 

[antson]

мои пять копеек. перетертый не до конца ветром кабель к wifi точке доступа на крыше может дать кучу не забываемых чудес .
Чтобы такое повторить нужно сильно по колдовать со шлюзом

 

[fixxxer]

боже упаси использовать fetch и прочую дрянь из es6, с обычным таймайтом вылазит куча проблем.

О, а расскажи поподробнее. Я-то сам не использую, но аргумент для хипстеров пригодится.

 

[AmdY]

fetch не поддерживает отстановки по таймауту, надо городить свой через setTimeout, а так как fetch возвращает промис в интерфейсе которого не продуман внешний метод вроде abort-reject, то надо всё это дерьмо ещё завернуть во врапер с промисом

   function timeout(time, promise) {
        return new Promise(function (resolve, reject) {
            promise.then(resolve);
            setTimeout(function () {
                reject(new Error('Timeout'));
            }, time);
        });
    }[
timeout(1000, fetch('....'));

Файл надо прицепить, опять городишь пристройку. В итоге как была куча библиотек и обёрток, так и осталось, плюс ещё надо полифилы подключать для альтернативных пользователей, бабели и т.д.. Подключаешь вебпак и тебе уже не хватает 8Г оперативки для разработки.

 

[Sufir]

Уже несколько в офтоп ушли, тоже влезу... А с упомянутым protobuf в PHP кто-то работал, какую библиотечку использовали? google/protobuf не рабочая, у меня сразу падает с кучей ошибок и нотайсов, не стал разбираться. Попробовал centraldesktop/protobuf-php, но что-то она сгенерить классы нужные не может, генерилка падает...

 

[флоппик]

Уже несколько в офтоп ушли, тоже влезу...

У меня пару лет работает через https://github.com/allegro/php-protobuf

 

[grigori]

промежуточный результат
сделал протокол вида json-csv: метаданные со структурой - отдельно, данные в многомерном массиве без ключей,
сравнил со стандартным json, в обоих случаях nginx отдавал данные в gzip и в https (tls 1.2), 40 тысяч записей, по 1000 записей в файле, 40 файлов
замерял tcpdump исходящие пакеты по 443 порту на локальном ip, то есть траффик с учетом хендшейков и http-заголовков

выигрыш json-csv составил 1.6 раза
предположение, что gzip нивелирует overhead от имен полей json и разделителей, не подтверждается

если интересно как замерять трафик по порту - могу написать

 

[fixxxer]

А насколько сильно там данные меняются со временем, в смысле постоянного наличия большого количества повторяемых подстрок?
Если не очень сильно, возможно, SDCH с заранее подготовленным словарем даст заметный профит. Он, правда, только в chromium-браузерах поддерживается, но их доля сейчас больше половины.

 

[grigori]

@fixxxer, 1% в день. Любопытный протокол. Только в IE нет поддержки.
Отличная идея - синкать словарь отдельно от данных, и дельта-изменения реализуются проще.

 

[fixxxer]

Только в IE нет поддержки.

Нигде нету, кроме хрома и его форков.
Но учитывая, что хром - это еще и все андроиды, это уже довольно много.