Вопрос как сделать файл 500000 записей уникальным

[alexcm]

Вопрос как сделать файл 500000 записей уникальным

Вот есть у меня файл 500000 записей. Если пихать его в массив и делать array_unique пишется что недостаточно памяти.. Как еще можно реализовать данную проблему ?
Заранее спасибо.

 

[kvf77]

alexcm

1) зачем его читать целиком?
2) зачем толкать его полностью в массив?

 

[svetasmirnova]

В shell sort -u

 

[varan]

в mysql его запихай, а потом сгруппируй

 

[svetasmirnova]

varan
сильно

 

[Фанат]

alexcm
а сколько из них уникальных?

 

[alexcm]

alexcm
а сколько из них уникальных?

около 90%


всем спасибо за советы