Параллельное вычисление на PHP

[Ragazzo]

grigori

упаковывать запросы в пакеты

это как?можно чуть подробнее?

 

[fixxxer]

curl_multi_exec - опять же может просто на просто повесить Apache количеством соединений. Время ответа может быть разное и оно
колеблется от 1 секунды до 20-30 секунд.

отдельным процессом (или пулом процессов) не связанными с обслуживанием соединений разгребай очередь

для тяжелых per process sapi просто отлупляй сразу и пусть поллят
либо сервер на либевенте и тогда тебе почти все равно сколько там будет ожидание висеть, но тут надо аккуратно без блокировок все написать

 

[Breeze]

grigori

это как?можно чуть подробнее?

нужны, например, тебе данные по 100 картинкам.
можешь к апи 100 запросов послать, а можешь пакетно 1.

 

[WMix]

Breeze
в смысле самому описать, правильно понимаю?... или возможно 100 http запросов вместе скомпоновать стандартными методами (и одним запросом получить 100 картинок)

 

[zerkms]

Breeze
в смысле самому описать, правильно понимаю?... или возможно 100 http запросов вместе скомпоновать стандартными методами (и одним запросом получить 100 картинок)

Стандартными нельзя, но ТС обмолвился, что юзает FB API - потому https://developers.facebook.com/docs/reference/api/batch/

 

[grigori]

это как?можно чуть подробнее?

например, http://www.jsonrpc.org/specification#batch
я это реализовал в RPC в Сотмаркете

нужны, например, тебе данные по 100 картинкам.
можешь к апи 100 запросов послать, а можешь пакетно 1.

1 HTTP-запрос, в который упаковано 100 вызовов методов

 

[Breeze]

например, http://www.jsonrpc.org/specification#batch
я это реализовал в RPC в Сотмаркете

1 HTTP-запрос, в который упаковано 100 вызовов методов

я про то же, но в общем) у меня xmlrpc с картинками так работает.

 

[DmitriyS]

альтернатива рабиту это activemq.. делить на много систем, ты хочешь через кью задачи расскидывать, или как.. чем тебе не нравится настроить на каждом server по system_daemon?

Как вариант, но это не просто взять и настроить System_Daemon это требует разработки архитектуры, которая будет позволят подключать новую ноду и динамически перераспределять нагрузку на новую ноду. Видимо так и поступлю,
так как других решений я не вижу да и судя из этого топика их нет.

 

[DmitriyS]

если внешние сервисы подконтрольны, я бы посмотрел бизнес-логику и поискал возможность упаковывать запросы в пакеты
я так делаю в своем API чтобы убрать latency на множестве запросов к RPC из одного скрипт

Да, это было бы совсем крута, но к сожалению API не поддерживают пакетные запросы и приходиться дергать API каждый раз.

 

[WMix]

думаешь, если клиенты (daemon) читают очередь, одни могут набрать больше задач чем другие?
если подумать о предложенной fixxxerом решении, то распределение по вебсерверам тоже решено...