我需要通过 Rclone 复制将一个复杂的数据集（总共约 4 PB，数亿个文件）复制到一些客户（他们每个客户拥有 6PB 中的 100 TB 左右）的一堆磁盘上，可能通过 sftp 协议。选择不使用商业云以跳过潜在的网络以及 egrees/对象速率限制。我们有一台具有 10gbs 连接的服务器，执行 rclone 复制（来自 webdav 源）到同一本地网络中的另一台服务器（最终将托管客户拥有的 jbods），具有 10gbs（sftp 目标），我们正在拆分这些数据集 - 但是我们将在同一个文件夹中传输一些文件夹，其中文件可能超过 100k。我们的文件大小从几 KB 到 1TB 不等。
这些副本是一次性的，我们会将一堆磁盘发送给客户，然后通过快递发送给他们。
我的问题是关于这些磁盘的设置。因为它们需要发送给客户，所以它们需要是安全的，因此需要加密？但是我知道这可能会降低我的性能。为了节省成本，它将是 JBOD 设置而不是 RAID，因为我们想利用磁盘空间。一次处理一个客户，因此在 SATA 上可能有一个 100TB 以上的 jbod。使用加密 - 在 zfs 本机加密与 ext4 LUK 或其他加密之间进行争论？我在之前的设置中使用过 ext4 LUKS，虽然它不像 ZFS 那样简单/开箱即用，但它稳定可靠。将数据复制到这些磁盘后，它们将被运送给客户。
有人曾经这样做过吗？有什么建议吗？我是否应该倾向于 ZFS 设置而不是 ext4？有没有更好的方法？我们的重点不仅是成本，而且主要是数据完整性，其次是速度。任何想法都将不胜感激。我们目前使用 rclone 来执行此操作，因为我们正在将其用于其他归档工作流程，并且如果可能的话，我们希望坚持使用相同的工作流程。如果有必要，很乐意提供任何额外的信息。我知道这是一个引导性问题，但我想我只是在寻求有关磁盘基础设施的一般技术建议，我们可能需要支持该基础设施，以启用“发送给客户的加密磁盘，以便在他们自己的 Linux 服务器上安装和使用”解决方案。
非常感谢，简