Копирование большого объема данных

[_sargon]

Копирование большого объема данных

Добрый день, всем!

Есть проблема, может кто-то сталкивался.

Есть таблица, содержащая некоторый объем данных (~ 50Gb ).
Неободимо скопировать эти данные в другую таблицу с некторой обработкой их перед вставкой.

Варианты UDF и Insert ... Select не подходят, потому что нужна срециф-кая обработка и вычисления.

Возможно можно как-то брать порциями и не буферезировать результаты первого запроса ( mysql_unbuffered_query ), но тогда нельзя делать тут же второй запрос, пока первый не прикроешь.

Есть идеи?

Спасибо.

 

[tf]

Возможно можно как-то брать порциями

LIMIT

 

[_sargon]

проблема не в том как ограничить порцию. а в том как оперировать такими объемами и делать это максимально быстро.

 

[tf]

хм, в чем проблемы последовательного выполнения?

 

[_sargon]

это конечно способ, я о ем сразу думал, но может есть какое-то другое решение, не в лоб? хотя может и оказаться, что это самое быстрое.

 

[voituk]

Выбрать данные с помощью mysql_unbuffered_query, обработать и сформировать SQL-дамп новой таблицы в файле.
Далее консольным mysql вогнать этот дамп (в новую таблицу).

Аналогично можно сформировать csv файл, а потом воспользоваться load data in file.