Glacier, backup restore (выделено)

[grigori]

у меня вопрос именно про стабильность fuse-драйверов - нормально ли отрабатываются внештатные ситуации, стабильно ли работает

про backblaze не знал, прикольно

 

[c0dex]

@grigori, про стабильность ничего сказать не могу, масштабы у меня не те...

 

[grigori]

тестирую s3fs-fuse, s3ql и yas3fs, кому-нибудь интересно небольшое сравнение с кратким описанием особенностей?

 

[c0dex]

Мне

 

[grigori]

эх, системы для публикации у нас все еще нет, так что приходится постить куда попало
http://ru.grik.net/2015/11/s3fs-fuse-s3ql-yas3fs.html

 

[hell0w0rd]

@grigori, дак заведи бложек на jekyll + gh-pages. Сам же советуешь))

 

[fixxxer]

эх, системы для публикации у нас все еще нет, так что приходится постить куда попало
http://ru.grik.net/2015/11/s3fs-fuse-s3ql-yas3fs.html

А зачем? Сетевая posix fs - это ужасно протекающая абстракция. Семантика posix на сеть просто не ложится. Сики, блокировки, вот это всё. Что мешает работать через API?

 

[grigori]

То же, что мешает сделать раздел для статей

В общем случае работать через API хорошо, но когда код уже работает с локальными файлами, может быть выгоднее подключить, перенести данные - и пусть работает дальше.
Сики и блокировки, как я понимаю, на s3ql должны работать потому что там все локально + фоновый rsync.

Это исследование решения для небольших сайтов вроде магазинов, которым пару недель работы для переноса фоток и файлов в облако - нерентабельно, проще тариф на vps поднять, а $100-200 - нормально.
Оно как-бы не круто и не хайлоадно, это проблема обычных людей, которых может быть много.

 

[grigori]

@grigori, дак заведи бложек на jekyll + gh-pages. Сам же советуешь))

а чем он будет лучше blogger?

 

[grigori]

если говорить числами, цель всей этой фигни в том, чтобы затраты на хранение данных снизить с $50 в месяц до $1,
то есть если при этом потратить $1000 на переписывание кода под API - смысл теряется

 

[fixxxer]

затраты на сисадмина, который будет настраивать, поддерживать и чинить эту фигню, не забудь учесть

 

[grigori]

учел, конечно, работы тут на два часа, обслуживать надо будет при переезде

 

[AnrDaemon]

Как сисадмин, я не верю в сетевые ФС. Настолько часто ломались на моей памяти, что просто несмешно.

 

[grigori]

@AnrDaemon, Расскажи, какие именно по твоему опыту будут проблемы с s3fs-fuse?

Мне нужно раз в день переносить на s3 оригиналы фоток из локальной папки, и по мере надобности удалять ненужные файлы чтобы не платить за мусор. Читать и писать в рабочем режиме не планируется, оригиналы хранятся на случай редизайна и сбоя, то есть может быть когда-нибудь, и при желании можно работать через API или s3tools.

 

[fixxxer]

Для такого юзкейса сойдёт, только надо не забывать проверять все ошибки.

 

[grigori]

я планирую запускать find -type f -mtime +15 -c mv /path /path по крону,
если я правильно понимаю, при ошибке файл просто останется в локальном каталоге

а приложение будет искать файл в двух папках по очереди, что изменений требует, но 3 строки

 

[fixxxer]

если этот s3fs держит кэш листингов директорий локально, тогда да, норм

 

[c0dex]

Почему тогда не простой s3cmd sync?

 

[grigori]

Почему тогда не простой s3cmd sync?

чтобы не держать локально полную копию данных - места не хватит

если этот s3fs держит кэш листингов директорий локально, тогда да, норм

не, s3fs локально кеширует только сами файлы, но мне листинги и не нужны
если речь про stat-вызовы по дереву - то не знаю, но тормозов из-за увеличения глубины вложенности не наблюдается, замеряю и отпишу, любопытно

вообще, локально со структурой каталогов работают s3ql и yas3fs

 

[c0dex]

@grigori, на сколько я могу судить тебе и не надо держать копию, эта команда будет грузить тупо в облако, если ты указал ей /local s3:// и наоборот, если указал s3:// /local. Хотя я бы сам бы прицепил бы в любую папку s3fs. Как-то оно проще.