Обработка и отправка большого кол-ва данных

Dzen

Новичок
Добрый день,

Подскажите пожалуйста. У нас есть локальная база.
И глобальная база на удаленном сервере.
На локальной базе в таблице клиентов, находится грубо говоря более 1000 клиентов.
Нам нужно отправить информацию о каждом клиенте в глобальную базу из локальной.
На сервере локальной базы, кроном запускается скрипт, делает запрос к локальной базе, получаем нужные ID этих 1000 клиентов и информацию по ним, дальше в цикле while ($result = mysql_fetch_array($query)) идём по клиентам и отправляем информацию к глобальной базе по всем 1000 клиентам. С этим всё ок, когда клиентов мало.
Но когда их большое кол-во, то скрипт просто не успеет отработать всех 1000 клиентов.
Наткнемся на максимальное время работы скрипта.

Каким образом можно это правильно реализовать? Нужно использовать многопоточность/многопроцессорность или надо делать какой-то Крон менеджер или еще как-то?
 

С.

Продвинутый новичок
Начните с простого -- увеличения разрешенного времени работы скрипта.
 

Redjik

Джедай-мастер
Если крон не wget ом отробатывает скрипт, а через cli, то время работы скрипта не имеет значения
 

флоппик

promotor fidei
Команда форума
Партнер клуба
ггг, а раньше по этой ссылке было другое написано :)
 

Redjik

Джедай-мастер
ага, значит дефолтные значения были изменены...
Я вообще сталкивался на хостинге - выставлял крон и писал в файл лог, каждую секунду, на 260ой вроде переставал работать...
Причину не смог установить, доступа к php.ini на этом дешманском хостинге само собой не было.
 

c0dex

web.dev 2002-...
Команда форума
Партнер клуба
Dzen
Пиши скрипт обработки очереди, где он будет брать эту 1000 записей, но не просто так, сразу, а по частям, скажем, по 50 или 100, и будет отправлять их на удаленный сервер. Далее из оставшихся 900 возьмет еще 100 и так далее)

Скрипт пихнуть в крон или запускать ручками, по необходимости.

Ну, а если хочется простого, то я соглашусь с С.
 

fixxxer

К.О.
Партнер клуба
Redjik
на хостингах есть лимиты на потребление cpu процессами. превысил - убивается
 

c0dex

web.dev 2002-...
Команда форума
Партнер клуба
fixxxer
А у особо параноидальных хостеров еще и сайт блочится)
 
Сверху