复制或备份包含 TB 数据（图像文件）的目录的最快方法

Question

您好，您能否建议一个非常高效且高性能的选项，将文件（以图像形式存在的 TB 数据）从一个磁盘复制到另一个磁盘。

我看到了诸如 cp、rsync 等选项，但想听听你们这些已经可靠地尝试和测试过这种情况的人的第二意见。

我还有以下要求：

1. 主磁盘 -> 捕获后文件存储的位置
2. 使用 rsync 从主磁盘备份的辅助磁盘。
3. 第三个磁盘现在将备份第二个磁盘，然后从主磁盘中删除不需要的文件，以便第二个磁盘和第三个磁盘再次同步

注意：1. 请考虑服务器利用率，因为其他进程也会并行读取图像文件。2. 我正在尝试从第二个磁盘备份到第三个磁盘。需要您对这 3 步的建议

Answer 1

不幸的是磁盘复制速度很慢。没有便宜的办法来解决这个问题。

看起来 RSYNC 确实是一个不错的选择，因为您并不想一直复制磁盘上的所有数据。假设您可以依赖时间戳和文件大小，您可能需要检查 rsync 是否没有根据校验和跳过（即没有 -c 或 --checksum 标志）。如果文件内容发生变化（这听起来不太可能），您可以通过执行“--inplace --no-whole-file”来仅复制已更改的部分，从而获得显著的加速。

当然，还有其他值得考虑的块级策略。更改为 ZFS（或 DRBD 或 Gluster 或 MooseFS）并在块级复制数据可能会变得更加高效，具体取决于您正在进行的更改类型、您的流量突发性等。