Быстродействие при считки из папки?

[seva2]

Быстродействие при считки из папки?

Есть папка, там порядка 400 тысяч файлов, все в одной папке

Вопрос, если разложить по папкам считка будет быстрей файла, или пофигу?

 

[Фанат]

у тебя же недавно совсем было 200? за неделю удвоилось?

 

[seva2]

Я замерил почему то разницы нет....

Угу блин, Ваще не знаю че делать, Боты яндекса иногда ночью сервер наш вешают, по 100 запросов в секунду, когда все считваеться из файла и с небольшой заменой текста

Ставим новый сервер
1U, Dual Xeon 2.8GHz, 4Gb, 72Gb SCSI HDD

Как думаеш потянет?

 

[kruglov]

1U? Не, не понянет, мало. Надо 2U или лучше 4U.

 

[seva2]

1U это что значит?

 

[kruglov]

seva2
Вообще-то это высота корпуса в условных единицах, влиять может только на стоимость и качество охлаждения, посему в конфигурации его упоминать совершенно бессмысленно.

 

[seva2]

Я в этом совсем не секу... Поэтому прикалываться тут бесмыслено)))

Просто сейчас стоит:
1U, Pentium 4 2.8GHz, 2Gb, 160Gb SATA HDD

И он не выдерживает...

Днем 10-30 запросов в сек, все работают

Ночью как бот яши по сайтам пойжет

40-100 запросов в сек, проц и оперативка под 90% грузяться...

Если можеш посоветуй

 

[Tor]

при разнесении файлов по папкам скорость поиска файла увеличится
но на сколько, завистит от многих факторов, причем в основном от файловой системе
на некоторых выгода может быть минимальной

 

[seva2]

Tor а как узнать какая у меня файловая система?

-~{}~ 01.02.07 15:13:

Поиска как такогого нет)

Задаеться точное название файла которое надо открыть!

 

[Tor]

а как узнать какая у меня файловая система?

спросить у того, кто админит сервер

Поиска как такогого нет)

Задаеться точное название файла которое надо открыть!

не тот поиск
когда тебе нужен файл, системе нужно его найти
этот поиск я имел ввиду

 

[seva2]

Странно, я замерил взятие из 100 тысячной папки
и из аппки с 10 файлами...

одинаковый результат)))

 

[sad]

а задачу можно поподробнее узнать?
если идет прямой запрос к файлу, по его прямому пути, то в принципе монопенисуально, сколько файлов в папке. разве только чуть-чуть...

 

[Tor]

если идет прямой запрос к файлу, по его прямому пути, то в принципе монопенисуально

ошибаетесь, товарищ

 

[seva2]

Tor наверно в разных файловых системах по разному?

Я мерил у себя, разницы нет)

 

[Tor]

если ты не замечаешь разницы, это не значит, что ее нет
не так ли?

 

[Sender]

Tor
если он ее не замечает значит она для него фиолетовая


seva2
Tor прав

 

[seva2]

Sender я понял, просто я 6 знаков после запятой сравниваю цифры, разложу обязательно по папкам!

 

[Найч]

seva2
с большой вероятностью неправильно мерял
дисковый кэш еще никто не отменял

 

[Alexandre]

Вопрос, если разложить по папкам считка будет быстрей файла, или пофигу?

на размерах 40 тыс - будет быстрее

-~{}~ 01.02.07 17:17:

при разнесении файлов по папкам скорость поиска файла увеличится
но на сколько, завистит от многих факторов, причем в основном от файловой системе
на некоторых выгода может быть минимальной

скорость поиска файла увеличится, так как сканирование 400 тыс файлов в одной директории - занимает на много больше времени чем сканированиев 2х -3х вложенных папках по 1000 файлов (папок) в каждой. (Вопрос почему - читайте Джойла)

По этому разбей все файлы по сл. принципу
Пусть файл имеет номер 1234567.txt
корневая папка содержит папки /1 /2 ... /4
папка /1 содержит папки /000 ... /234 .... /999
каждая папка второго уровня содержит 999 файлов

соответственно путь к твоему файлу 1234567.txt будет 1/234/1234567.txt

 

[Tor]

сканирование 400 тыс файлов в одной директории

2х -3х вложенных папках по 1000 файлов (папок) в каждой

некорректное сравнение