我有超过 1 亿个图像文件（书籍封面），作为单个“目录”下的平面文件列表： /images/000000093e7d1825b346e9fc01387c7e449e1ed7 /images/000000574c67d7b8c5726f7cfd7bb1c5b3ae2ddf /images/0000005ae12097d69208f6548bf600bd7d270a6f ... 很久以前，这些都存储在 Amazon S3 上，现在存储在 Backblaze B2（与 S3 兼容）上。 到目前为止，一切运行良好： 存储新文件非常快； 检索现有文件非常快。 我...
你好，我正在尝试集成 Openstack Keystone 作为 Ceph 身份验证机制，以便我可以使用 ceph 对象存储作为 openstack swift 后端 环境： Kernel : Ubunutu Server LTS 22.04 (minimal) Openstack : Zed (Manual Installation) Ceph : quiny (Cephadm Installation) //控制器节点 openstack service create --name swift object-store openstack user...
我运行一个提供开源软件的大型服务器（https://ftp.halifax.rwth-aachen.de)，目前以多千兆位吞吐量提供超过 30 TB 的数据。使用 rsync 同步并保持数据最新，即将数据从某个主 rsync 服务器同步到我的本地副本。 目前，存储后端是基于磁盘的，带有文件系统 (ZFS)。有人提出将该项目移至虚拟化环境，其中大部分存储将通过 S3（托管在本地数据中心的 Ceph）提供。 根据我使用 rsync 的经验，我认为通过 S3 同步大量数据不是一个好主意，但我缺乏使用 S3 的实际经验。 有多糟糕？S3（协议）适合这种操作吗？除了处...
我在 Nginx 中使用了类似这样的位置配置，当用户支持 WEBP 时，它可以提供 WEBP 服务 map $http_accept $webp_suffix { default ""; "~*webp" ".webp"; } server { #... location ~* \.(?:jpg|jpeg|png|webp)$ { root /usr/share/nginx/html; try_files $uri$we...
目前我在 Digital Ocean 使用 SSD 块存储，价格非常昂贵。当我查看 Vultr 时，他们提供 HDD 块存储。价格很便宜。 我们必须存储大约 700GB 的数据（主要是图像）并在网站上提供服务。 我们应该在 DO 虚拟机后面使用 Digital Ocean Spaces 还是在 DO 虚拟机后面使用“Vultr 服务器 + HDD 块存储”？ 哪一个能提供更好的性能？ 您可以从下图中更好地理解： Cloudflare Cache 的目的是减少 Vultr VM 实例的带宽使用量。在这两个计划中，我们都会在 Digital Ocean VM ...
我有一个 ceph 集群并在其上运行几个 s3 存储桶，'gitlab-s3-api' 用户对所有内容拥有完全权限（用户=;桶=；元数据=;用法=;zone=* ) 但奇怪的是它无法删除其自身存储桶上的任何文件。 { "user_id": "gitlab-s3-api", "display_name": "Gitlab s3 bucket", "email": "", "suspended": 0, "max_buckets": 1000, "subusers": [], "keys": [ { "user": "gitlab-s3-...
我按照以下步骤设置 Ceph 集群这文档。我有一个管理器节点、一个监视器节点和三个 OSD 节点。问题是，在我完成集群设置后，所有三个节点都ceph health返回了HEALTH_OK。但是，当我回到集群时，它不正常。这是健康检查的输出： HEALTH_WARN Reduced data availability: 96 pgs inactive PG_AVAILABILITY Reduced data availability: 96 pgs inactive pg 0.0 is stuck inactive for 35164.889973, ...
我想要有多个存储桶，每个存储桶都有自己的密码或密钥，供最终用户进行读写访问。 我发现的一些选择： ACL：这些工作基于每个 OpenStack 用户。我认为为每个最终用户创建新的 OpenStack 用户是没有意义的。 应用程序凭据：这些不能基于每个容器进行设置，而是基于一类操作。因此，你可以限制到容器，但这只是全部容器，而不是特定的容器。 云-A宣布容器特定 API 密钥（在其他地方记录)，但这似乎是非标准的。我想要一些与上游 OpenStack 兼容的东西。 ...
是否有人有使用 Openstack Swift 对象存储和 s3fs 以及同时让多个写入挂载访问同一文件的经验？ s3 的手册页，例如：https://linux.die.net/man/1/s3fs有这样一段话： “多用户功能虽然可以在多个用户之间共享 s3 存储桶，但 Amazons S3 服务的当前数据一致性模型阻止多个用户安全使用多个挂载。虽然 s3fs 目前允许多个挂载，但此类活动可能会导致数据损坏。未来版本将包含锁定机制，以安全地防止多个读写挂载。在单个读写挂载之后进行多个只读挂载是安全的，但不会反映可写挂载对任何文件或文件系统元数据所做的更改，...
在对象存储解决方案中，对象数据实际上是如何写入底层存储卷的？即以何种格式写入？是否使用中间文件系统，还是直接访问块存储？还是每个实现都不同？ 假设我在一个本地对象存储平台上存储了一些数据，我想将它们迁移到另一个平台上，只需将应用程序指向磁盘即可 - 而不必复制所有数据。例如：ceph 到 minio。这可能吗？即他们是否使用某种标准化的方式来存储底层数据？ 如果我丢失了对象存储中间件，只剩下物理卷（磁盘），会发生什么情况？我能否以任何方式检索或理解数据？ 最后，对象存储解决方案是否可以基于磁带卷（因为它们的成本低于磁盘）？假设我不担心加载/卸载磁带的较...
我需要部署一个MinIO三个节点上的基础设施，每个节点都有一个可以在其中保存文件的本地目录。 我读过MinIO 纠删码快速入门指南，但我不需要 MinIO 来管理不同本地驱动器上的数据复制，因为所有三个节点都在独立硬件上的独立虚拟机上，并且本地存储已受到 ZFS 保护。 出于这个原因，我只 MinIO 在节点之间复制数据，为每个文件创建三个副本，但是当我尝试使用单个数据目录启动它时，它会失败： minio@storage3:/usr/local/bin$ export MINIO_ACCESS_KEY=foo minio@storage3:/usr/l...