Распределение изображений по дирам - а надо ли?
- Автор темы Василий М.
- Дата начала
Тугай
Новичок
fixxxer, хороший тест
Потестил немного на i3 3Ghz, SATA soft raid0, ext4, Debian7, зависимость скорости чтения случайного файла от количества файлов в каталоге:
График, по X - количество файлов в каталоге, по Y - количество прочитанных случайных файлов в секунду.
Оптимизировать по каталогам имеет смысл, но учитывая скорость предачи по сети, это не будет узким местом для значительного количества файлов.
Потестил немного на i3 3Ghz, SATA soft raid0, ext4, Debian7, зависимость скорости чтения случайного файла от количества файлов в каталоге:
PHP:
X-Files Y-Files/sec
-------------------------
1000 60000
2000 42857
5000 16667
10000 6667
20000 2804
37500 1429
75000 625
150000 300
300000 130
600000 51График, по X - количество файлов в каталоге, по Y - количество прочитанных случайных файлов в секунду.
Оптимизировать по каталогам имеет смысл, но учитывая скорость предачи по сети, это не будет узким местом для значительного количества файлов.
Тугай
Новичок
MiksIr
Есть в тесте на unix.stackexchange.com. ReiserFS: случайные чтения на 10% быстрее, перзапись в 18 раз медленней ext4.
На практике заработает кеш и чтения не такие случайные.
Что-то мне вспомнилась какая-то недавняя конференция где выступал Страустрап, там призывали всех программировать на С/С++ - потому что производительность имеет значение
и всякие Java и PHP требуют несравнимо больше Ватт электроенергии и циклов процессора. Спасем планету будем писать эффективно.
Так и с разбиением по папкам, это будет хорошим тоном и спасением планеты, но на юзаблити скзываться практически не будет.
Есть в тесте на unix.stackexchange.com. ReiserFS: случайные чтения на 10% быстрее, перзапись в 18 раз медленней ext4.
На практике заработает кеш и чтения не такие случайные.
Что-то мне вспомнилась какая-то недавняя конференция где выступал Страустрап, там призывали всех программировать на С/С++ - потому что производительность имеет значение
и всякие Java и PHP требуют несравнимо больше Ватт электроенергии и циклов процессора. Спасем планету будем писать эффективно.
Так и с разбиением по папкам, это будет хорошим тоном и спасением планеты, но на юзаблити скзываться практически не будет.
С.
Продвинутый новичок
Тут не про сохранение каких-то абстрактных ваттов или циклов говорят, а про конкретные лаги, в которые ты можешь упереться носом при слишком большом количестве файлов. Даже если это будет только в случае ручного обслуживания по FTP или в консоли.
Можно перестраховаться и заложить разбиение на папки. А можно [потом] написать в инструкции, что данный продукт стабильно работает только на ext8 или на SupereiserFS (и мудак-нищеброд, кто их еще не поставил). Что будет безупречнее?
Можно перестраховаться и заложить разбиение на папки. А можно [потом] написать в инструкции, что данный продукт стабильно работает только на ext8 или на SupereiserFS (и мудак-нищеброд, кто их еще не поставил). Что будет безупречнее?