Glacier, backup restore (выделено)

[AnrDaemon]

@AnrDaemon, Расскажи, какие именно по твоему опыту будут проблемы с s3fs-fuse?

Мне нужно раз в день переносить на s3 оригиналы фоток из локальной папки, и по мере надобности удалять ненужные файлы чтобы не платить за мусор. Читать и писать в рабочем режиме не планируется, оригиналы хранятся на случай редизайна и сбоя, то есть может быть когда-нибудь, и при желании можно работать через API или s3tools.

Надо смотреть на юз кейсы. Синхронизация с локальным каталогом - это нормально. На это можно положиться.
Напрямую работать с сетевым хранилицем, находящимся неизвестно где - и при этом делать перед клиентом вид, что у тебя всё схвачено - рецепт катастрофы…

 

[grigori]

@grigori, на сколько я могу судить тебе и не надо держать копию, эта команда будет грузить тупо в облако, если ты указал ей /local s3:// и наоборот, если указал s3:// /local. Хотя я бы сам бы прицепил бы в любую папку s3fs. Как-то оно проще.

если перемещать в s3fs - файлы еще останутся в локальном кеше s3fs, просто чтоб не писать свой локальный кеш

 

[fixxxer]

если речь про stat-вызовы по дереву

Аха. Там хотя бы stat cache то наверняка должен быть.

 

[grigori]

Аха. Там хотя бы stat cache то наверняка должен быть.

да, есть

-o max_stat_cache_size (default="1000" entries (about 4MB))
maximum number of entries in the stat cache

-o stat_cache_expire (default is no expire)
specify expire time(seconds) for entries in the stat cache

-o enable_noobj_cache (default is disable)
enable cache entries for the object which does not exist. s3fs always has to check
whether file(or sub directory) exists under object(path) when s3fs does some com‐
mand, since s3fs has recognized a directory which does not exist and has files or
sub directories under itself. It increases ListBucket request and makes perfor‐
mance bad. You can specify this option for performance, s3fs memorizes in stat
cache that the object(file or directory) does not exist.

 

[grigori]

для полноты картины посмотрел и описал в статье еще s3backer и riofs - я бы ими не пользовался