Нагрузка на память при парсинге логов

[Alberto]

Доброго времени суток, вопрос, как можно смотреть загрузку памяти а при парсинге файла логов, файл логов может быть до 15 гигов? И как не нагрузить ее сильно?

 

[Absinthe]

top
nice

 

[Breeze]

И как не нагрузить ее сильно?

как парсишь?

 

[AmdY]

Alberto, считываешь построчно? для оптимизации можно использовать новые генераторы, которые появились в версии 5.5. Ещё оптимальнее делать препарсинг sed-ом, либо вовсе не парсить оги, а писать сразу на сокет слушаемый php демоном.

но оптимизациями надо заниматься только когда возникнут проблемы.

 

[Alberto]

Получается считываю файл в массив функцией file дальше регулярками вытаскиваю нужные данные , позже скину код

 

[Gas]

файл логов может быть до 15 гигов

функцией file

если памяти 16+GB и не жалко ставить memory_limit 15GB, то конечно можно попробовать, но это неправильный путь.

 

[Breeze]

Получается считываю файл в массив функцией file дальше регулярками вытаскиваю нужные данные , позже скину код

надо построчно.
фактически тебе надо заменить foreach по file(), на foreach по Iterator(http://ru2.php.net/iterator) если php не 5.5, либо foreach по генератору(http://ru2.php.net/manual/en/language.generators.php), как @AmdY сказал. Там даже пример построчного чтения из файла есть.
тогда переделка парсера будет минимальна и потребление памяти тоже.

 

[Alberto]

надо построчно.
фактически тебе надо заменить foreach по file(), на foreach по Iterator(http://ru2.php.net/iterator) если php не 5.5, либо foreach по генератору(http://ru2.php.net/manual/en/language.generators.php), как @AmdY сказал. Там даже пример построчного чтения из файла есть.
тогда переделка парсера будет минимальна и потребление памяти тоже.

спасибо буду пробывать