s3fs

Linux 服务器同步到 Amazon S3 存储桶
s3fs

Linux 服务器同步到 Amazon S3 存储桶

我正在寻找一个稳定的解决方案来使用 替换经典服务器备份到另一台服务器rsync。我必须将整个文件系统(超过 1Tb)同步到 Amazon S3。 我在哪里? 解决方案 1:我使用 将 S3 存储桶映射到系统中的安装点s3fs。系统变得不稳定,流量真的很慢。这绝对不是一个解决方案。 解决方案 2:使用s3cmd sync命令。一切都进展顺利,速度很快(至少对于小于 2Gb 的文件夹而言)。当我尝试同步服务器上的所有文件系统(有一些排除)时,问题就出现了。该过程只是挂起了。 有什么提示吗? ...

Admin

s3fs 的保险丝模块
s3fs

s3fs 的保险丝模块

我正在尝试安装 s3fs 软件。但是我不断遇到此错误: $ sudo /usr/bin/s3fs bucketname /mnt fuse: device not found, try 'modprobe fuse' first $ modprobe fuse FATAL: Module fuse not found. 当我检查内核时,它已启用保险丝: zgrep FUSE /proc/config.gz CONFIG_FUSE_FS=y 我不明白为什么它找不到 fuse。因为内核说它已安装,而我已经从存储库安装了名称中带有 fuse 的所有软件...

Admin

使用本地缓存自动缩放 EC2 上的静态内容
s3fs

使用本地缓存自动缩放 EC2 上的静态内容

你好,Serverfault 的成员。 我想在 EC2 上实现以下设置:负载均衡器启动和停止仅提供静态内容的实例。(基于 javascript 的应用程序)如果我发布新版本,我不想手动更新当前正在运行的实例上的应用程序代码。所以我考虑将代码上传到 cdn 并在 Web 服务器实例上安装带有本地缓存​​的驱动器(类似 dropbox)。这样,任何正在运行的实例都会自动拥有最新版本和本地内容的速度优势。 对此最好的解决办法是什么? 我曾尝试使用 s3 和 s3fs / s3fs-c,但由于其当前实现中存在错误,它们对我来说无法使用。从理论上讲,s3fs 的...

Admin

如何使 s3fs 与 IAM 角色协同工作?
s3fs

如何使 s3fs 与 IAM 角色协同工作?

我们正在使用 IAM 角色来维护机器。我们现在计划将 s3 安装到我们的 ec2 实例并根据需要进行处理。我们一直使用 s3fs 工具进行安装。 但这似乎不适用于 IAM 角色。有什么方法可以让 s3fs 与 IAM 角色配合使用吗?有人这样做过吗? 提前致谢。 ...

Admin

将 S3 存储桶配置为 Dovecot sdbox 的备用存储
s3fs

将 S3 存储桶配置为 Dovecot sdbox 的备用存储

我正在尝试使用 S3 存储桶来长期存储电子邮件,使用 Dovecot 提供服务,并使用 cron 作业将doveadm altmove所有超过几周的内容转移到其他存储中。我能够使用以下 Dovecot 配置来实现这一点 # doveconf mail_location = sdbox:~/sdbox:ALT=/var/s3mail/%n /var/s3mail我选择的 S3 存储桶的根目录在哪里,安装有s3fs-fuse。 这可以将旧邮件移动到备用存储,从而释放邮件服务器的空间。但是,当我尝试使用电子邮件客户端在邮箱文件夹之间移动旧邮件(存储在 S3 上)...

Admin

VSFTPD - chroot 和 s3fs 问题
s3fs

VSFTPD - chroot 和 s3fs 问题

我在使用 VSFTPD 时遇到了一个小问题,我还无法解决它,所以我来这里寻求您的建议! 用户主目录中有一个 ftp 目录,它是通过 s3fs 的挂载点,用于访问 S3 bucket。启动我的 s3fs 的设置: s3fs mybucket -o dbglevel=info -f -o curldbg -o url=https://s3-eu-central-1.amazonaws.com -o use_cache=/tmp/myuser -o use_path_request_style -o uid=UID-of-my-user -o gid=GID-of...

Admin

使用 s3fs 安装只读公共 s3 存储桶
s3fs

使用 s3fs 安装只读公共 s3 存储桶

我们的minio服务器有一个公共只读存储桶。我想使用它来挂载它s3fs,但不知道该如何挂载它。s3fs总是需要我提供凭证。 ...

Admin

在 VPS 上安装 S3fs 的 Amazon S3 存储桶的带宽消耗
s3fs

在 VPS 上安装 S3fs 的 Amazon S3 存储桶的带宽消耗

我有 : Vultr 上的 VPS 服务器安装了 Web 服务器和 Wordpress。 上传文件夹使用 s3fs 安装在 Amazon S3 存储桶上。 如果用户从我的网站下载 1GB 的文件,流量会直接从 Amazon S3 提供给他还是会通过 vps 传输。因为我想卸载带宽,我想知道它是否算作 1GB 或 1GB + 1GB。 ...

Admin

无法在 CentOS 7 上使用 s3fs 挂载 AWS S3 存储桶/路径
s3fs

无法在 CentOS 7 上使用 s3fs 挂载 AWS S3 存储桶/路径

在 Azure 上运行的 CentOS 7 虚拟机中,我无法使用 s3fs 挂载 AWS S3 存储桶。在 s3fs 检查存储桶是否存在之前,存储桶位置的路径部分已被删除: s3fs version 1.90(unknown) : s3fs -f -o dbglevel=debug,endpoint=eu-west-1,profile=customer,bucket=company-sftp:/Customer/dev /srv/test_s3/ s3fs_logger.cpp:LowSetLogLevel(240): change debug level ...

Admin

无法将 Ubuntu 中的文件夹挂载为 AWS S3 存储桶
s3fs

无法将 Ubuntu 中的文件夹挂载为 AWS S3 存储桶

我正在尝试将运行 Ubuntu 18.04 的新 AWS EC2 实例上的文件夹挂载到 AWS S3。 我一直按照我在以下网址找到的说明进行操作https://cloud.netapp.com/blog/amazon-s3-as-a-file-system和https://www.nakivo.com/blog/mount-amazon-s3-as-a-drive-how-to-guide/。我也看到了这条消息将 S3 存储桶安装到 AWS Ubuntu 实例上的问题 当我运行命令来挂载文件夹时,我没有收到任何错误,但是当我查看当前挂载的文件夹时,没有列出我...

Admin

有使用 Openstack Swift 和 s3fs 多用户访问的经验吗?
s3fs

有使用 Openstack Swift 和 s3fs 多用户访问的经验吗?

是否有人有使用 Openstack Swift 对象存储和 s3fs 以及同时让多个写入挂载访问同一文件的经验? s3 的手册页,例如:https://linux.die.net/man/1/s3fs有这样一段话: “多用户功能虽然可以在多个用户之间共享 s3 存储桶,但 Amazons S3 服务的当前数据一致性模型阻止多个用户安全使用多个挂载。虽然 s3fs 目前允许多个挂载,但此类活动可能会导致数据损坏。未来版本将包含锁定机制,以安全地防止多个读写挂载。在单个读写挂载之后进行多个只读挂载是安全的,但不会反映可写挂载对任何文件或文件系统元数据所做的更改,...

Admin

非 root 用户无法挂载 S3FS
s3fs

非 root 用户无法挂载 S3FS

我正在尝试安装一个外尺度使用以下方式将 bucket 迁移到运行 Ubuntu 20.04 的 Exoscale VMs3fs。在阅读了 s3fs README 和一些在线教程之后,我做了以下事情。 请记住,我是以ubuntu默认用户身份而不是 的身份执行此root操作。执行与 相同的过程可按root预期工作。但是,我计划禁用 root 访问权限,因此我需要使其以 的身份工作ubuntu。 # install s3fs sudo apt-get install -y s3fs # create a password file with the right ...

Admin

chmod/chown/mkdir:不允许以 root 身份进行操作
s3fs

chmod/chown/mkdir:不允许以 root 身份进行操作

我Operation not permitted在一台服务器上获得了 root 用户权限,但在另一台“相同”的服务器上却没有。 在 Amazon Linux 1 上运行。 服务器 1: [root@preprod-1 ]# chown root:root /s3mnt/outliers/ chown: changing ownership of ‘/s3mnt/outliers/’: Operation not permitted [root@preprod-1 ]# chmod -x /s3mnt/outliers/ chmod: changing pe...

Admin

S3FS Mount 似乎不起作用:我做错了什么吗?
s3fs

S3FS Mount 似乎不起作用:我做错了什么吗?

所以我刚刚有了一台全新的 VPS,我将用它来运行 nextcloud。我关注了这指南。我做了(在一台全新的机器上): Apt 安装 s3fs 使用 key:secret 密钥创建 /etc/passwd-s3fs 文件 Chmoded 600 运行 s3fs nameofmywasabibucket /mnt/wasabi -o passwd_file=/etc/passwd-s3fs -o url=https://s3.wasabisys.com 我得到了典型的 Linux“Mhm”(没有任何记录),这意味着一切都没有出错,对吗? 在 /mnt/...

Admin

使用 s3fs 在代理后面启动时挂载 AWS S3
s3fs

使用 s3fs 在代理后面启动时挂载 AWS S3

为了使挂载正常工作,我必须在运行 s3fs 之前首先设置 http_proxy 环境变量。 export https_proxy=<proxy address> s3fs -d <bucket> mount-point -o url=https://s3.us-gov-west-1.amazonaws.com -o use_path_request_style 我想在启动时安装我的 S3 存储桶,但我使用代理。我可以将其添加到 fstab,但它不起作用,因为它不知道代理。 ...

Admin