Удаление повторяюшихся строк в фаиле

[Sk]

Удаление повторяюшихся строк в фаиле

Есть такая задача:
Есть фаил base.txt.
Содержание:
#-------#
1
3
3
1
2
#-------#
Небходимо чтобы после выполнения кода фаил был таким:
#-------#
1
3
2
#-------#
т.е были удалены повторяюшиеся строки.
Заранее благодарен.

 

[Фанат]

а большой файл?
а читать там, записывать в файл ты умеешь?

 

[Sk]

Автор оригинала: Фанат
а большой файл?
а читать там, записывать в файл ты умеешь?

ну порядка 500 кб, да читать записывать умею...
а вот как удалять строки незнаю, или спомошью массива тогда как элементы массива удалять? ...

 

[sakon]

http://php.rinet.ru/manual/ru/function.array-unique.php
Неужели сам ненашел?

 

[Sk]

Автор оригинала: sakon
http://php.rinet.ru/manual/ru/function.array-unique.php
Неужели сам ненашел?

а вот если надо чтобы сравнивалось по процентам, т.е если совпадает на 80% то строка бы удалялась?

 

[sakon]

"А если бы он вез патроны?"
Ты уж будь любезен - если у тебя есть вопрос, то сформулируй его точно и полностью. А пока ты уже получил ответ на свой вопрос.

 

[Sk]

Автор оригинала: sakon
"А если бы он вез патроны?"
Ты уж будь любезен - если у тебя есть вопрос, то сформулируй его точно и полностью. А пока ты уже получил ответ на свой вопрос.

но теперь я уточнил его что мне теперь флудом заниматься чтобы ответ получить? ответьте плиз

 

[Фанат]

нет.
читать документацию

 

[Sk]

Автор оригинала: Фанат
нет.
читать документацию

т.е документацию?

 

[Фанат]

www.php.net/manual

-~{}~ 24.11.05 21:37:

http://phpclub.ru/faq/wakka.php?wakka=readmanual

 

[Sk]

Автор оригинала: Фанат
www.php.net/manual

-~{}~ 24.11.05 21:37:

http://phpclub.ru/faq/wakka.php?wakka=readmanual

спасиб, что-то нашёл шас разбираюсь...

-~{}~ 24.11.05 22:33:

Вот плод моих трудов, ну как всегда что то не так, впринципе я и не сомневался

<?
$fl = "base.txt";
$file = file($fl);
for ($i=0; $i < count($file); $i++) 
{
 for ($k=$i+1; $k < count($file); $k++) 
 {
  similar_text($file[$i],$file[$k],&$rez);
  if ($rez >= 30) 
  { 
   $line = $i;
   $count = count($file);
   $fp = fopen($fl,"w");
   for($i=0;$i<$count;$i++) 
   {
     if($i!=$line-1) 
     {
       fwrite($fp,$file[$i]); 
     } 
   }
   fclose($fp);
  } 
 } 
}
?>

Скрипт удаляет строки схожие более чем на 30%
Подскажите где трабла?

 

[Фанат]

текст русский?

 

[Sk]

Автор оригинала: Фанат
текст русский?

разный...80% русского

 

[Фанат]

функция не рассчитана на русский.
боюсь, тебе придётся поискать решение, определяющее похожесть текста, самостотельно, а когда ты его не найдёшь, придётся довольствоваться тем, что есть

а что за текст-то, кстати, можно полюбопытствовать?

 

[Sk]

...
crfxfnm vBulletin.v3.5.1
роль податків у формування місцевих бюджетів реферат
PHP картинок
ящик
RO тест на rogue
Chemical Brothers ru
samsung E820
взрослое радио
Буклеты
Microsoft .NET Framework 2.0
переделаные песни о детях
юридическая консультация on-line
...
вот такого текста 500 кб
Так что решения нет?

 

[Фанат]

а нафига удалять похожие?

 

[Sk]

Автор оригинала: Фанат
а нафига удалять похожие?

ну база запросов, а она выросла до 500 кб за неделю и будет рости в геометрической прогрессии вот, но сейчас надо базу почистить чтоб меньше весила вот...

 

[Фанат]

так удаляй просто старые!

 

[sakon]

хех. 30% похожести? Не многовато. Или в смысле - маловато..

 

[Sk]

Автор оригинала: Фанат
так удаляй просто старые!

мне надо чтоб удалялись все похожие кроме одной... чтоб база содержала более менее разные запросы