Максимальное количество файлов в папке Linux и Windows

[joraxr]

Вопрос не из простых

Сколько можно сохранить картинок в папке в Linux

т.е. допустим у меня 9 000 000 000 000 000 000 картинок

я создаю древовидную иерархию из папок

у меня допустим 5 ветвей, ограничение на число файлов и папок в ветви 6179

тогда общее количество возможно загружаемых файлов равно 6179 в 5 степени и равно

9 007 224 264 576 426 899 т.е. BIGINT (почти из за округления)

Теперь сам вопрос

Как определить максимальное возможное число файлов в папке или папок в папке в Linux и тоже самое в windows для сравнения?

Моя иерархия будет нормально работать?

Что думаете по этому поводу?

Вот у меня вот такая картина на сервере

-bash-3.2# df -i
Filesystem            Inodes   IUsed   IFree IUse% Mounted on
/dev/hdb             3203072 1516705 1686367   48% /
/dev/hda1              50800      19   50781    1% /boot
-bash-3.2#

Я правильно понял что моя теория разваливается и максимальное количество файлов которые я могу сохранить на сервере равно 3203072?

Как вообще сделать так чтобы на сервере было 1000 000 000 инодов и больше?

Ведь смотрите еслия я сохраню 3203072 файлов то у меня останется очень много свободного места на диске...

планирую сохранить 7000 000 файлов, как быть, что думаете, может что подскажете и т.д. и т.п.

 

[AmdY]

ракладывай файлы по папкам, зачем всё сунуть в одну, тем более некоторые файловые системы дико тормозят когда файлов много.

 

[Ярослав]

joraxr
mke2fs -N

 

[hell0w0rd]

У тебя картинка image.png, от нее md5 - d2b5ca33bd970f64a6301fa75ae2eb22
Записываешь /path/to/images/d2/b5/d2b5ca33bd970f64a6301fa75ae2eb22
И вообще не паришься
У инстаграмма 150 млн было в прошлом году, о каких 9 000 000 000 000 000 000 картинок ты вообще пишешь) Там уже совершенно другие технологии используются)

 

[С.]

У тебя картинка image.png, от нее md5 - d2b5ca33bd970f64a6301fa75ae2eb22
Записываешь /path/to/images/d2/b5/d2b5ca33bd970f64a6301fa75ae2eb22

Ну да, /path/to/images/i/m/image.png не технологичненько получается без хэша-шмеша.

 

[AmdY]

С.
конечно, а то 98% картинок будут в папке /c/a/t/

 

[Вурдалак]

Ну да, /path/to/images/i/m/image.png не технологичненько получается без хэша-шмеша.

Название файла даёт нам нормальное распределение?

 

[grigori]

хоть бы один на вопрос ответил я и сам бы хотел узнать о реальных рекомендуемых количествах файлов в папке для ext4

 

[WMix]

на современных фс влезет бесконечно кажется, и доступ по path будет мгновенным. другое дело переместить или удалить папку, будет создаваться список всех файлов, там начнутся первые проблемы, а также просмотр особенно по удаленному доступу.

мне кажется просто вопрос памяти.

 

[С.]

Создавать слишком много файлов в одной директории по-любому не стоит, даже если в файловой системе этот вопрос уже технически решен. Когда-нибудь да придется зайти туда файловым менеджером и ощутить все "прелести".

 

[Absinthe]

на современных фс влезет бесконечно кажется, и доступ по path будет мгновенным

Так ли это?
Особенно интересуют ext4 и vfat.

 

[WMix]

http://ru.wikipedia.org/wiki/Ext4

Максимум файлов 4 миллиарда (specified at filesystem creation time)

это и в одной папке тоже, на сколько я понимаю. иногда пишут ограничение на корневую директорию.
в vfat понятия не имею. у fat32 общее число файлов было 268.435.456 или 2^28 а у NTFS уже 2^32 те. как и Ext4.

но я тоже считаю 16^3 это 4к или 3 буквы md5 и больше на папку не нужно делать.


вот интересная статейка http://hilocomod.blogspot.de/2010/03/linux.html

joraxr
9 квинтиллионов это что храним, все фотки всех людей?

 

[hell0w0rd]

Неужели когда столько фото/видео контента появляется люди не задумываются о специализированных решениях? Там уже не выгодно фс обычные использовать на сколько я понимаю, потому что картинки не меняют, в общем возможности фс не используются

 

[Breeze]

хоть бы один на вопрос ответил я и сам бы хотел узнать о реальных рекомендуемых количествах файлов в папке для ext4

ну а какое тут может быть рекомендуемое? тут не только диры, но и сторадж решает
могу по опыту сказать, что даже nfs сносно работает на 2-3К в директории, правда ls иногда подтупливает
но для ext4 это не будет проблемой точно

joraxr

для 7M тебе за глаза хватит схемы /a/b/c/file.jpg,
если хочется запаса, то "a" можно расширить с 16 до 52 используя набор a-z A-Z 0-9, что даст четырехкратный запас =)
но опять же не стоит забывать, что даже пустые директории занимают место

так что калькулятор в руки, считать и выбирать баланс

ЗЫ: у тебя /dev/hdb гигов на 60, да?

 

[Breeze]

Неужели когда столько фото/видео контента появляется люди не задумываются о специализированных решениях? Там уже не выгодно фс обычные использовать на сколько я понимаю, потому что картинки не меняют, в общем возможности фс не используются

7М -- это вообще ни о чем если они мертвым грузом лежат, тебя и на одном файле убьет количество iops большее, чем твоя дисковая система вынесет
а специализированные есть, например, велосипеды, работающие поверх обычных ФС =)

 

[hell0w0rd]

Breeze
Вообще тс ничего не сказал о том что он с ними планирует делать. Может они статикой отдаются и никогда не меняются, может это файлы юзеров и у него сервис по редактированию фотографий, тогда они меняются(или создаются новые, а старые сохраняются для версионности), может первый вариант + каждый день картинок все больше и больше, и куча других вариантов

 

[Breeze]

Breeze
Вообще тс ничего не сказал о том что он с ними планирует делать. Может они статикой отдаются и никогда не меняются, может это файлы юзеров и у него сервис по редактированию фотографий, тогда они меняются(или создаются новые, а старые сохраняются для версионности), может первый вариант + каждый день картинок все больше и больше, и куча других вариантов

и какая принципиальная разница между этими вариантами?

 

[keltanas]

Тут как раз товарисчъ рассказывал по теме хранения большого количества файлов.

 

[hell0w0rd]

http://tech.yandex.ru/education/kit/3/talks/524/
Вот еще есть видео хорошее)

 

[stopkran]

[off] А почему при открытии этой темы у меня скачивается файл с именем T5cJDdqKt74&fs=1 ?