Хранение и распределение изображений. Naming strategy

[WMix]

если файлы правильно распределять, то какой смысл удалять папки (они все заняты)? наоборот нужно один раз создать/примаунтить при деплое

 

[fixxxer]

я написал чистилку, которая проверяет по цепочке папки и удаляет если пустые

Эмм...

find /path -type d -empty -exec rmdir {} \;

 

[German Malinovsky]

Ceph нормальный, главное - не вздумай трогать cephfs.

Имеется ввиду что cephfs еще сырая чтобы ее ставить?

 

[Фанат]

Эмм...
find /path -type d -empty -exec rmdir {} \;

не. при таком количестве каталогов она ж будет грызить сервер
у меня проще: удаляем файл - проверяем каталожку за собой. одну.

 

[fixxxer]

Имеется ввиду что cephfs еще сырая чтобы ее ставить?

Сырая - да. Но проблема не в том. Это типичный костыль, когда изначально не проектировалось сетевого взаимодействия, и надо "подпихнуть" сеть так, чтобы приложение думало, что работает с диском. Но семантика POSIX вообще плохо ложится на сеть, это типичная протекающая абстракция. Проблемы будут всегда, как и с nfs.

Лучше использовать специально разработанные для этого API.

 

[Breeze]

я написал чистилку, которая проверяет по цепочке папки и удаляет если пустые

это да, я это больше к тому написал, что надо стратегию с разумным количеством выбрать
/999/999/999 , если утрировать, съест все inodes и будет занимать терабайты в итоге ^_^

 

[German Malinovsky]

это да, я это больше к тому написал, что надо стратегию с разумным количеством выбрать
/999/999/999 , если утрировать, съест все inodes и будет занимать терабайты в итоге ^_^

Теоретически в ext4 может быть 4 миллиарда inodes?

 

[флоппик]

Теоретически, отдавать терабайты с одного места все равно неразумно, и эта проблема настанет куда раньше, чем кончатся иноды.

 

[German Malinovsky]

Ну как-бы вопрос не в отдаче, а в хранении в первую очередь.

 

[Активист]

Теоретически в ext4 может быть 4 миллиарда inodes?

в ext4 увеличить количество inodes не сложно. А вообще есть и другие производительные файловые системы, а также заточенные под всякую мелкую хрень в больших количествах (но к сожалению основного разработчика ФС отправили в длительный отпуск забанили, проект пытался поддерживать наш соотечественник, некто Шишикин, но не смог). Есть и кластерные ФС, сотни их , но без специфического оборудования применять не стоит. Хотя можно и не замарачиваться созданием кластера, а просто приобрести готовое решение.

 

[Василий М.]

Для равномерного распределения - md5($name). Дальше str_split (по 2 символам вполне разумно) и столько уровней вложенности, сколько разумно для данного проекта. Обычно 2-3 достаточно.

это ты про храние в виде images/b/b/3/e/bb3e4912d9174537fe5857e7826fef86/640x424.jpg ?

А для чего нужно это разбиение на директории?

 

[c0dex]

Чтобы не хранить все в одной папке, иначе можно получить очень сильный баттхерт

 

[Василий М.]

Чтобы не хранить все в одной папке, иначе можно получить очень сильный баттхерт

Я ВОТ ХРАНЮ В в виде /c/2/0/c2005c4b4e8bc59a5edcf7aa4b0ec336.jpeg - этого достаточно?
или надо уровней 10 было сделать?

 

[c0dex]

В товем случае хватит. Вряд ли ты пишешь фейсбук

 

[Активист]

Чтобы не хранить все в одной папке, иначе можно получить очень сильный баттхерт

Не с Ext4 и т.п.

 

[c0dex]

И с ext4 и т.п. Просто есть люди, которые пытаются на таких проектах туда залезать через sftp и т.д =D

 

[Василий М.]

а вот тут пишут что надо отдельный сервер юзать. а как на отдельный сервер фотки грузить, расскажите кто делал!!1

 

[Adelf]

Вася, ты стебешься чтоли?

 

[Breeze]

а вот тут пишут что надо отдельный сервер юзать. а как на отдельный сервер фотки грузить, расскажите кто делал!!1

тебе ж там написали, через curl

Вася, ты стебешься чтоли?

а когда-то было иначе?

 

[German Malinovsky]

а вот тут пишут что надо отдельный сервер юзать. а как на отдельный сервер фотки грузить, расскажите кто делал!!1

https://coderwall.com/p/swgfvw/nginx-direct-file-upload-without-passing-them-through-backend
или tengine unbuffered upload.