качаем XML

[Shyroop]

качаем XML

Всем привет!

Проблемма такого рода, есть Б2Б проект. я логинюсь на сайт партнера через curl, и потом мне для каждого производителя надо вынуть XML и сохранить в файл(делаю через foreach). производителей около 300. Видимо из-за того, что это все очень долго происходит мне броузер выдает ERROR 500. как с этим боротся или может еще есть какой-то способ.

Спасибо.

 

[AmdY]

ignore_user_abort(true);
set_time_limit(0);

 

[Gas]

+ multi curl и не запускать из под веб-сервера.

 

[Shyroop]

а из под чего запускать?

-~{}~ 24.02.08 21:31:

set_time_limit(0); - не сработало!

 

[Gas]

Shyroop
как часто нужно получать эти xml'ки ?

 

[Shyroop]

в идиале раз в день, но можно реже... 3 раза в неделю скажем.

 

[Gas]

Для этого тебе идеально подойдёт cron. Добавляешь задачей свой скрипт и вуаля. Главное чтоб провайдер не рубил его за превышение ресурсов - тогда тяни не всё сразу, а по частям.

 

[Shyroop]

там таймаута нет?

а если хочется посмотреть результат работы скрипта?

 

[Апокалипсис]

сохранять результаты работы скрипта в файл.
как сказал Gas - можно тянуть по частям.
Можно тянуть одним скриптом - (тока тянуть), сохранять XML у себя и вторым пробегом крона - парсить XML - в необходимый тебе формат.

 

[ys]

Автор оригинала: Shyroop
там таймаута нет?

а если хочется посмотреть результат работы скрипта?

Таймаут нужно самому ставить.
Результаты нужно смотреть в том месте, где эти результаты складываются.
cron Вам (или не Вам) пришлет stderr и stdout, если таковые будут...

 

[Апокалипсис]

а таймаут естественно там есть.

 

[Shyroop]

я так и делаю, сохраняю в файл. но не получается полностью, пишет ERROR 500. пробовал поставить set_time_limit(0);, не помогло.

 

[Апокалипсис]

тогда частями лей.

 

[Shyroop]

ок, а как частями? у меня идет цикл из 300 позиций. делать несколько циклов скажем по 20 позиций?

 

[Апокалипсис]

1 проход - качаешь 50 лент - сохраняешь
2 проход - качаешь ещё 50 и т.п.
Потом одним запуском скрипта парсишь всех в удобный тебе формат.
я так делал.

 

[Shyroop]

что то я не могу понять как это сделать, можно намек? через for?

 

[Beavis]

Shyroop
через cron

 

[Shyroop]

кому интересно, решил таким образом:
1. ночью с помощью cron записываю в файл
2. потом когда хочу обновляю из файла.

спасибо всем за помощь!