Sypex Dumper Pro 2.0.9 - умный бэкап MySQL

[KorP]

Забрал SX-VOJS-ZJAY, спасибо

 

[phprus]

Взял SX-OL96-VHCJ, Спасибо!

Немного разгребу завал дел и буду ставить на Solaris 10 Sparc.

 

[grigori]

Ну а че, сжимать в зип и криптовать вполне себе можно потоково. Главное с буферами не запутаться.

ну да, proc_open + proc_nice для ограничения нагрузки на CPU
(кстати, а nice уже влияет на disk io или все еще нет?)

>нужно будет тесты по скорости сделать
цель не в рекорде скорости выполнения всей задачи, а в том, чтобы задача не мешала работе сервера

 

[vovanium]

grigori
Ну чем быстрее сам алгоритм, тем проще будет серверу в любом случае. Так как медлительность алгоритма, это по сути лишняя бесполезная нагрузка на сервер. Например, когда пробовал бэкапить файлы используя готовые библиотиотеки zip и tar, то скорость отличалась на порядок по сравнению с либой которую специально для этих целей написал. Так как у этих готовых либ основной упор сделан на функционал, огромные классы с кучей методов, неэффективная работа с памятью, они очень неповоротливые, да и тупят с большими файлами. Потому стараюсь алгоритмы работающие с большими объемами данных хорошо "затачивать".

 

[Welcome]

Взял SX-TTEP-6PW4 спасибо

 

[fixxxer]

vovanium
Твои рассуждения в принципе верны в контексте потребления CPU, а вот с IO бывает всякое.
Даже если сам не пишешь на диск, а отдаешь сразу - наверняка есть буферизация на фронте.

 

[Juris]

Взял SX-DGC5-5NTD спасибо.

 

[grigori]

vovanium пожалуйста, перечитай мои слова я не спорю, а добавляю:
важно не только оптимизировать алгоритм, но и добавить throttling - ограничить нагрузку на ЦП и диски

 

[vovanium]

grigori
Ну искусственно и контролируемо замедилить алгоритм в случае необходимости уже попроще.
В принципе тот же дампер оптимизировался для уменьшения дерганий функции записи/чтения, по умолчанию работает с блоками по 60 КБ, получился лучший компромис между файловыми операциями и размером строки (с большими строками, php начинал всё больше тупить). Хотя конечно тестилось это поведение, не на сильно загруженных серверах, так что не смотрел как себя будет вести с большой дисковой загрузкой. Но в целом даже сейчас этим параметром можно играться, в зависимости, от того, что важнее большее использование памяти или меньше дисковых операций.

 

[iceman]

> Основное нововдение в ней, это заливка дампов на сторонние FTP, а также облачные хранилища.

расскажите пожалуйста, что тут означает фраза - облачные хранилища?

 

[vovanium]

iceman
Имеется ввиду Amazon S3, Dropbox и т.п.

 

[Absinthe]

Планируется постгрес? Всякие Navicat косячат.

 

[vovanium]

Absinthe
Пока не планируется, с ним особо не работал, так что пока что буду заниматься файловым бэкапом и следующей версией дампера.

 

[fixxxer]

Осилил постгрес - осиль pg_dump!

 

[vovanium]

Таки пробился на хабр, так что желающие могут почитать статью о которой говорил вначале топика
http://habrahabr.ru/blogs/mysql/131797/

 

[grigori]

a unzend.com сырцы восстанавливает, не пробовал?

 

[vovanium]

grigori
нет, сейчас файловым бэкапом занят.

 

[cicos]

vovanium
Все промо-коды закончились, может поделитесь еще?

 

[fixxxer]

a unzend.com сырцы восстанавливает, не пробовал?

нафига, есть же халявный dezend.me

 

[Koc]

багрепорт: сайпекс некорректно обрабатывает ситуации, когда таблица в cp1251, но часть из ее колонок в utf-8.

http://easycaptures.com/fs/uploaded/496/2794236454.png