Обработка очень больших файлов

[e_moon]

Обработка очень больших файлов

Здравствуйте.

Может кто-нибуть дать мне пример, как ускорить обработку большого файла (41 136 Кб).

Я так понимаю нужно использовать, например, GZip. Но как получить csv-файл в зжатом виде?

Такой код у меня на локальной машине выполняеться около 30 мин

$fp = fopen ("test.csv","r");
while ($data = fgetcsv ($fp, 1000, ",")) {
  $in[]   = $data[0];
  $out[] = $data[1];
}

print_r($in); 
print_r($out);

 

[Фанат]

что значит - использовать GZip? для чего использовать?
в какое место приведённого кода ты собрался вставлять GZip?

 

[e_moon]

>>что значит - использовать GZip? для чего использовать?
>>в какое место приведённого кода ты собрался вставлять GZip?

Тогда что может помочь ускорить работу с большим файлом?

 

[Фанат]

это чисто академический вопрос или он имеет какое-то практическое значение?

 

[e_moon]

Цель - создать on-line переводчик. В файле лежит две колонки (In и Out), что и как перевести соответственно. База, как и положено словарю, немаленькая и обрабатываеться очень долго...

 

[Igor aka TiGR]

Обычно для этого используют БД

 

[Фанат]

замечательно.
ускорить работу с большим текстовым файлом очень просто.
надо всего лишь выкинуть его на помойку и завести себе базу данных.

и впредь, ПОЖАЛУЙСТА, на задавай вопросов "как ускорить обработку большого файла", а задавай вопрос "как мне создать онлайн переводчик"?.
так будет гораздо, гораздо лучше для тебя.

 

[tecgnotes]

как переводчику хотелось б сделать небольшой оффтопик - не надо так делать перевод. Все гораздо сложнее чем in\out. Поэтому без базы точно необойтись

 

[e_moon]

Выход - импорт в MySQL. Спасибо