发送重复数据删除的 ZFS 流需要多少内存?

发送重复数据删除的 ZFS 流需要多少内存?

去年我为我的雇主设置了两台服务器,每台服务器都运行 FreeBSD 10.1,并配有大型存储池。12 x 2TB 磁盘,在 zpool 中配置为两个 raidz2 vdev,每个 vdev 有六个磁盘。其中一台服务器是备用服务器,是活动服务器的副本。

我们希望在某种类型的单独存储上创建备份,以防范非故障类型的故障,例如管理员错误。

初步测试表明,只需使用备用副本服务器“zfs send”重复数据删除流(-D)到某些外部存储就足够了,但我找不到任何信息表明发送重复数据删除流的内存要求是否与首先使用 dedup 的要求相同。

zfs send -DDDT 表的内存要求是否与 ZFS 的常规重复数据删除相同?

答案1

问题已提出这里

答案是肯定的,它需要更多内存,因为它必须跟踪哪些块已发送,哪些块尚未发送。内存量应与传输的快照中的数据量成正比。

在文件系统上启用重复数据删除不会有助于满足性能/内存要求。启用 SHA256 校验和会稍微提高性能。

顺便说一句,问题是,您是否对文件系统进行了如此多的更改,并且链接速度如此之慢,并且具有很好的重复数据删除功能,因此这会对您产生很大的影响,甚至值得考虑?

相关内容