Вопрос как сделать файл 500000 записей уникальным

  • Автор темы Автор темы alexcm
  • Дата начала Дата начала

alexcm

Guest
Вопрос как сделать файл 500000 записей уникальным

Вот есть у меня файл 500000 записей. Если пихать его в массив и делать array_unique пишется что недостаточно памяти.. Как еще можно реализовать данную проблему ?
Заранее спасибо.
 
alexcm

1) зачем его читать целиком?
2) зачем толкать его полностью в массив?
 
в mysql его запихай, а потом сгруппируй
 
alexcm
а сколько из них уникальных?

около 90%


всем спасибо за советы
 
Сверху