Меню
Что нового?

Glacier, backup restore (выделено)

  • Автор темы Автор темы c0dex
  • Дата начала Дата начала
у меня вопрос именно про стабильность fuse-драйверов - нормально ли отрабатываются внештатные ситуации, стабильно ли работает

про backblaze не знал, прикольно
 
@grigori, про стабильность ничего сказать не могу, масштабы у меня не те...
 
тестирую s3fs-fuse, s3ql и yas3fs, кому-нибудь интересно небольшое сравнение с кратким описанием особенностей?
 
grigori написал(а):
эх, системы для публикации у нас все еще нет, так что приходится постить куда попало
http://ru.grik.net/2015/11/s3fs-fuse-s3ql-yas3fs.html
Нажмите для раскрытия...
А зачем? :) Сетевая posix fs - это ужасно протекающая абстракция. Семантика posix на сеть просто не ложится. Сики, блокировки, вот это всё. Что мешает работать через API?
 
То же, что мешает сделать раздел для статей :)

В общем случае работать через API хорошо, но когда код уже работает с локальными файлами, может быть выгоднее подключить, перенести данные - и пусть работает дальше.
Сики и блокировки, как я понимаю, на s3ql должны работать потому что там все локально + фоновый rsync.

Это исследование решения для небольших сайтов вроде магазинов, которым пару недель работы для переноса фоток и файлов в облако - нерентабельно, проще тариф на vps поднять, а $100-200 - нормально.
Оно как-бы не круто и не хайлоадно, это проблема обычных людей, которых может быть много.
 
Последнее редактирование:
если говорить числами, цель всей этой фигни в том, чтобы затраты на хранение данных снизить с $50 в месяц до $1,
то есть если при этом потратить $1000 на переписывание кода под API - смысл теряется
 
затраты на сисадмина, который будет настраивать, поддерживать и чинить эту фигню, не забудь учесть :)
 
учел, конечно, работы тут на два часа, обслуживать надо будет при переезде
 
Как сисадмин, я не верю в сетевые ФС. Настолько часто ломались на моей памяти, что просто несмешно.
 
@AnrDaemon, Расскажи, какие именно по твоему опыту будут проблемы с s3fs-fuse?

Мне нужно раз в день переносить на s3 оригиналы фоток из локальной папки, и по мере надобности удалять ненужные файлы чтобы не платить за мусор. Читать и писать в рабочем режиме не планируется, оригиналы хранятся на случай редизайна и сбоя, то есть может быть когда-нибудь, и при желании можно работать через API или s3tools.
 
Последнее редактирование:
Для такого юзкейса сойдёт, только надо не забывать проверять все ошибки.
 
я планирую запускать find -type f -mtime +15 -c mv /path /path по крону,
если я правильно понимаю, при ошибке файл просто останется в локальном каталоге

а приложение будет искать файл в двух папках по очереди, что изменений требует, но 3 строки
 
Последнее редактирование:
если этот s3fs держит кэш листингов директорий локально, тогда да, норм
 
Почему тогда не простой s3cmd sync?
 
c0dex написал(а):
Почему тогда не простой s3cmd sync?
Нажмите для раскрытия...
чтобы не держать локально полную копию данных - места не хватит

fixxxer написал(а):
если этот s3fs держит кэш листингов директорий локально, тогда да, норм
Нажмите для раскрытия...
не, s3fs локально кеширует только сами файлы, но мне листинги и не нужны
если речь про stat-вызовы по дереву - то не знаю, но тормозов из-за увеличения глубины вложенности не наблюдается, замеряю и отпишу, любопытно :)

вообще, локально со структурой каталогов работают s3ql и yas3fs
 
Последнее редактирование:
@grigori, на сколько я могу судить тебе и не надо держать копию, эта команда будет грузить тупо в облако, если ты указал ей /local s3:// и наоборот, если указал s3:// /local. Хотя я бы сам бы прицепил бы в любую папку s3fs. Как-то оно проще.
 
Войдите или зарегистрируйтесь для ответа.
Сверху