stalxed
Новичок
Хотелось бы узнать о практиках обеспечения обработки больших таблиц данных.
Т.е. такие операции как пересчитать всем скидку, удалить множества товаров(и зависимых дынных) от конкретного поставщика, етс.
Сейчас такие задания ложатся в таблицу jobs, и эти задания берёт cron.
Но задание может выполняться 10-20 минут, а об успешности операций можно судить только по анализу лога.
Бывает сыпется, то памяти не хватило, то ещё что-то.
Необходима большая отказоустойчивость и автономность.
Пожалуйста, поделитесь опытом из собственной практики подобных операций!
Неужели всё сводится к тому, чтобы найти все баги?
И нельзя чего-то более умного придумать...
Т.е. такие операции как пересчитать всем скидку, удалить множества товаров(и зависимых дынных) от конкретного поставщика, етс.
Сейчас такие задания ложатся в таблицу jobs, и эти задания берёт cron.
Но задание может выполняться 10-20 минут, а об успешности операций можно судить только по анализу лога.
Бывает сыпется, то памяти не хватило, то ещё что-то.
Необходима большая отказоустойчивость и автономность.
Пожалуйста, поделитесь опытом из собственной практики подобных операций!
Неужели всё сводится к тому, чтобы найти все баги?
И нельзя чего-то более умного придумать...