Сказывается ли на производительности большое количество файлов в директории?

[fog]

Сказывается ли на производительности большое количество файлов в директории?

Вопрос в следующем,

Когда я обращаюсь к файлу (напр. file_get_contents) по полному пути, находящеумся в директории, где лежит ещё 200 000 файлов, тратится ли какое-то время на поиск файла?

Проверял - отрабатывало очень быстро, т.е. вообще без какой-либо видимой задержки, но, может, я чего-то не понимаю?

Вторая часть вопроса: лежат в директории те же 200 000 файлов, скажем, картинок. Пользователь запрашивает один из файлов - http://serv.com/images/138934.jpg - тратит ли в таком случае веб-сервер время на поиск файла в директории?

 

[StUV]

FS какая ?

 

[AmdY]

поищи в поиске, это обсуждалось, большой был флейм.

 

[HraKK]

ИМХО
сказывается, причем ощютимо.

Но возможно на некоторых FS и небудет.

 

[fog]

> поищи в поиске, это обсуждалось, большой был флейм.

Не могу найти то, что нужно

> FS какая ?

ext3

> сказывается, причем ощютимо.

Это для первого случая или для второго? Как померять? Я замерял время для случая считывания файла средствами PHP - очень быстро, может я не так мерял...

-~{}~ 20.07.07 16:10:

Я к чему спрашиваю, стоит ли заморачиваться и складывать файлы не в одну папку, а в 10, к примеру, или нет?

 

[mishco]

стоит

 

[algo]

очень сильно сказывается.

Тестить просто - померяй производительность операций на каталоге с 1 мил файлов и с 100 файлов.
Операции: создание файла, чтение файла, переименование файла.

Ясно вижу разницу "на глазок" при ext3 с dirhash.

Возможно, reiserfs это нивелирует, но у него другие недостатки, поэтому не использую.

 

[fog]

algo, ну миллиона файлов у меня не будет, а на 200 000 file_get_contents отрабатывает быстро. Возможно, при запросе файла через Apache будет другая картина...

 

[litvinenko]

сгенери файло

 

[iamFake]

мне очень нравится слоган Reiser4:

"вам нужно создать миллион файло? и делать енто быстро? Нет проблем..." =)

а вот ext3 мне кажется не стоит применять... сам когдато мучался - во время грозы сервер ребут (нету ибп) и все, фс пала... поставил Reiserfs3 все идеально...

щас у них позиционирование примерно такое

ReiserFS 3 = самая стабильная фс
Reiser4 = самая быстрая фс

 

[grigori]

Там, кажется, какие-то сильные проблемы с полицией были у г-на Reiser, что вроде бы могло повлиять на разработку этой FS - или это только сплетни?

 

[iamFake]

Автор оригинала: grigori
Там, кажется, какие-то сильные проблемы с полицией были у г-на Reiser, что вроде бы могло повлиять на разработку этой FS - или это только сплетни?

он щас находится под охраной (до суда осенью 2007), но я не думаю что енто как то скажется на файловой системе, ведь фактически ее разрабатывает щас не он а вся Namesys... а про проблемы енто вроде как не слухи, его подозревают в убийстве жены... непомню когда, но я енто даж по телеку видел, на Российском Информационном канале (т.к. жена у него русская)...

 

[algo]

Offtopic1:
По моему опыту, у ReiserFS 3 были проблемы с целостностью при power loss, довольно серьезные.
Выражалось это так - после жесткого ребута незаметно портились файлы. Т.е, смотришь вдруг, а у тебя в файле хз что находится.

ReiserFS 4 я не юзал.

Offtopic2:
Систему, разумеется, разрабатывает много людей, многие, кстати, из России.

 

[baev]

Кстати, сайт namesys.com сейчас «недоступен».

 

[iamFake]

Автор оригинала: algo
Offtopic1:
По моему опыту, у ReiserFS 3 были проблемы с целостностью при power loss, довольно серьезные.
Выражалось это так - после жесткого ребута незаметно портились файлы. Т.е, смотришь вдруг, а у тебя в файле хз что находится.

ну незнаю... у меня стоит 3.6.19 (если память не изменяет) и на протяжении 2х лет много раз было и отключение питания (авария или ремонт - вырубают электричество) и сестра мелкая тыкала ресет пока я его не выковырял +) и ниразу не видел каких либо проблем с файлами... на сервере я "сижу" каждый день, основное время за разработкой проектов и соответственно миниторю статус демонов, сайтов на хостинге и каких либо проблем с бинарниками\конфигами\скриптами сайтов небыло... максимальный аптайм 50-70 дней (т.к. за енто время как по закону подласти, либо какаянить падла вырубит электричество в доме либо еще по какой причине серв останется без питания)...


лично я считаю ReiserFS 3.6.19 надежной файловой системой, а поскольку 4ая более быстрая но менее надежная (возможно пока?) на нее переходить не хочу =)

 

[algo]

P.S Мое письмо о надежности относится к периоду год назад и раньше. Год назад перевели последний раздел с reiserfs на ext3.
Возможно, вероятность проблем зависит от активности изменений (мета)данных.