jeka!
Просто Member
Удаление дубликатов в больших файлах, проблема...
Написал скрипт который открывает файл и удаляет все дублирующиеся записи, потом сохраняет его под новым именем.
На локалке всё прекрасно работает, файлы размером 6 мегов нормально обрабатываются, поставил скрипт на хостинг sweb.ru и там нифига он не работает.
В общем файлы до 1 мега обрабатываются, всё что больше, нет, скрипт умерает и браузер пишет "500 ошибку".
Файлы имеют такой вид:
127.0.0.1
127.0.0.2
127.0.0.3
127.0.0.4
и т.д.
Скрипт:
Помогите решить проблему средствами PHP.
Или если не возможно, тогда может есть какая нибудь линуксовая команда, которая удаляет дубликаты из файлов.
Написал скрипт который открывает файл и удаляет все дублирующиеся записи, потом сохраняет его под новым именем.
На локалке всё прекрасно работает, файлы размером 6 мегов нормально обрабатываются, поставил скрипт на хостинг sweb.ru и там нифига он не работает.
В общем файлы до 1 мега обрабатываются, всё что больше, нет, скрипт умерает и браузер пишет "500 ошибку".
Файлы имеют такой вид:
127.0.0.1
127.0.0.2
127.0.0.3
127.0.0.4
и т.д.
Скрипт:
PHP:
if (file_exists('ip.txt')) {
$fp=fopen('ip.txt','r');
$fr=fread($fp,filesize('ip.txt'));
fclose($fp);
$arr=explode('\n',$fr);
foreach ($arr as $val) {
if ($val=="" || $val=='\n') continue;
$val=str_replace('\n','',$val);
$new[$val]=null;
}
$fp=fopen('ipnew.txt','w');
foreach ($new as $key => $val) {
fputs($fp,$key.'\n');
}
fclose($fp);
}Или если не возможно, тогда может есть какая нибудь линуксовая команда, которая удаляет дубликаты из файлов.
