我需要将数 TB 的信息从一个 NFS 系统（NFS 系统位于 AWS 中）移动到 Amazon EFS，但我需要以最快的方式移动这些数据。我尝试过 rsync，但它花费的时间太长，我也尝试过使用 rsync 并行，但它没有给我所需的结果。
数据包含多个目录和许多小文件
是否有任何经过尝试和测试的方法可以非常快速地移动数据，同时仍确保数据到达时不会被损坏（例如 rsync）？
答案1
移动如此大量的数据最快的方法仍然是 Sneakernet。因此，亚马逊雪球。该设备将运送到您所在的位置，然后通过 10 Gigabit 以太网连接直接从您的本地网络传输最多 80 TB 的数据。然后，它将被运回亚马逊，亚马逊会将数据上传到您的亚马逊账户。
答案2
对于非常多的小文件，限制将是源存储和目标存储的 IOPS。 rsync不会加快速度，因为它必须读取每个文件，其主要好处是不会传输已经复制的大文件块。
如果您恢复备份存档，则读取量会更大、更连续、吞吐量更高：
cd /mnt/files/
tar -xzf /mnt/backup/files.tar.gz
但是，您必须有足够的空间来存放此备份档案。
此外，恢复的时间点可能是一段时间之前，具体取决于备份所需的时间。