Многопоточное скачивание страниц

[firman]

Многопоточное скачивание страниц

Нужно программно загрузить много страниц (около 10 000).
1. С помощью чего лучше реализовать многопоточность?
2. Как работают функции curl_multi, если на входе 10 000 страниц, будет создано 10 000 потоков? И как управлять количеством потоков в curl_multi?

 

[enkidy]

Я делаю так:

for($proc=0; $proc < $maxthreads; $proc++)
{
$pid = pcntl_fork();
if ($pid) break;
}
if (!$pid) die;

//Здесь что-то делается

Таким образом получается $maxthreads потоков (читай процессов), и у каждого свой номер $proc...

 

[Paxan]

Можно еще создать n-ое количество сокетов и переключаться между ними в одном потоке.

 

[kruglov]

вы либо убъете сервер, либо (что вероятнее) исчерпаете оимит соединений.

 

[stalxed]

вопрос а pcntl_fork реально запустить на windows машинке? просто нужен в домашних условиях, а слаку недавно из-за ненадобности до выхода slackware 11 снёс....