Обработка больших объемов данных роботом

[3D]

Обработка больших объемов данных роботом

Проблема в следующем:
необходимо, чтобы скрипт (робот) прошел по все БД и проделал определенные операции с каждой записью, при этом происходят соединения с удаленными серверами.

Как наиболее грамотным способом организовать это на php?

Если делать "все за раз", т.е. подряд проходить все записи и обрабатывать, то сервер при длительной работе такого скрипта обрубает его!

 

[lyxsus]

обрабатывать за несколько заходов. после каждого "захода" запоминать, где остановился скрипт. иногда так делают.

 

[Сергей123]

Может всё-таки искать решение этой проблемы: "сервер при длительной работе такого скрипта обрубает его"?
"Длительной" - это сколько примерно?

 

[3D]

lyxsus
Thx, Сейчас как раз пытаюсь сделать имено так.

Бресь Сергей
Сложно сказать... Т.к. не могу поймать момента остановки работы.

 

[lyxsus]

а еще, возможно, спасет
set_time_limit(0);

 

[Фанат]

это такая модная форма мазохизма?
лазить по удалённым серверам и перебирать по одной записи?
а оптимизировать процесс не пробовал?

 

[3D]

Фанат
в БД хранятся адреса. Робот проходит по адресам и проверяет наличие определенного кода в теле документа! Что тут оптимизировать?

 

[Фанат]

ну, к примеру, не писать такого робота на пхп.

 

[vitus]

Фанат - а почему не пхп? какая разница?

3D - а какой сервер обрубает РОБОТА ???

 

[Фанат]

а что - не видно? совсем?
всё прекрасно, никаких проблем?

 

[vitus]

забавно