grigori, я внимательно прочитал тему, "на PHP" увидел. Ответ непосредственно по сабжу дал. Что может мне запретить посоветовать то, что на мой взгляд значительно лучше? То что это форум о php? Если у кого-то есть молоток, то это не значит, что он должен делать им всё подряд, как бы хорош, прост и удобен не был этот молоток.
в случае который описал Активист решение предложенное grigori выглядит лучше и проще
То что писал Активист в первом посте мне показалось несколько туманным

Решение из первого поста grigori на практике выливается в то, что нецелевое применение php приведет к возможному появлению разного рода ошибок, о которых ничего не скажут ни доки, ни логи. Ни огромный размер оперативной памяти под каждый php скрипт, ни неограниченное время выполнения, ни какие ещё либо блага цивилизации и настройки веб сервера и интерпретатора php не гарантируют спокойной жизни. Было бы иначе, речь не шла бы о том, что надо
по крону запускаться и проверять, жив ли другой управляющий
"и о том, что
иногда процесс отваливается раньше чем получаешь из него данные
И опять же синхронизация данных между потоками, если так можно назвать несколько запущенных экземпляров php скрипта, при работе с php отнюдь не сахар.
троллить иди на хабр или lor, тут обсуждается PHP
В споре рождается истина, нет?
При массовой скачке данных всё упрется в ширину канала, и, возможно в скорость дисковой подсистемы.
А при обработке? Теперь, точнее зная задачу, можно предположить что на обработку будет потрачено большая часть времени. Точно сказать что будет быстрее при операциях обработки данных нельзя, не проведя тестов с подходящей подборкой операций, но чует моё сердце, что php (созданный немножко для другого) проиграет тому же c++ в несколько раз, а скорее даже в несколько десятков раз, даже не учитывая возможности оптимизации под имеющийся процессор.
Зачем советовать что попало? Оно будет разработано не быстрее, работать будет (по крайней мере во время обработки информации) гарантированно медленнее и вполне вероятно нестабильно, возможны возникновения специфических проблем из-за используемых костылей...и опять же существует простое, готовое и проверенное решение для использования всех ядер многоядерного процессора, и это не язык для веб-программирования, а разные языки для разработки прикладных программ.
P.S.
Не вижу никакой разницы между нашими с вами, grigori, первыми ответами (решениями) на поставленный вопрос.