ZFS + dedup:快速复制许多小文件

ZFS + dedup:快速复制许多小文件

我正在运行 ZFS 备份服务器(具有重复数据删除功能)来备份网站并保留它们。为此,我在第一次备份期间将所有文件传输到备份服务器,并复制所有这些文件以创建一组要保留的文件和一组用于 rsync 第二天备份的文件。

但是,创建所有这些文件的本地副本需要很长时间,仅 15 GB 数据就需要 3 小时以上,而从另一台服务器传输只需半小时。这可能是因为“cp”命令每次读取一个(小)文件并将其写入存储,这在机械磁盘及其寻道时间(带有 3 个磁盘的 raidZ)上需要数小时。

如果复制首先将一堆数据读入内存,然后写入,而不是逐个文件地进行操作,那么这个问题可能会得到解决,但我该怎么做呢?

答案1

你是对的,你的问题是寻道时间。你最好使用以下两个解决方案之一:

  • tar创建数据集的存档,我想这会更快

或者

  • 使用ZFS的快照目录功能

相关内容