我使用 dar(类似于 tar,但针对硬盘进行了优化)来备份 RAID 卷。对于 RAID,它们的大小适中,大约为 3 - 10 TB。我的目标是将结果放在 8 TB 外部驱动器上,但如果能够在一个驱动器上容纳多个备份,那就太好了。这是为了我的个人爱好,所以价格很重要。
无论如何,我开始使用 dar 制作一个 3.4 TB 的文件,使用 xz:0 压缩,我花了 24 小时,结果只有 740 GB,而且我不知道工作已经完成了多少百分比。这是在具有 32 个超线程的双 Xeon 机器上,但速度不是那么快; 4GHz)
所以我想要一台一天可以处理 3 TB 数据的压缩机。更好的压缩固然很好,但现在我只想控制它所花费的时间。有此类信息的研究吗?有人有压缩大型档案的经验吗?
哦,由于 dar 的工作方式,它必须能够压缩流。 Dar 压缩每个组件,以便它知道何时切换切片(输出可能会发送到多个磁盘或存储棒上的多个切片)。
答案1
ZSTD 的终极压缩级别与 XZ 相当,但压缩速度要快得多(高达 20 倍),而且其解压速度简直令人疯狂。
我极其无论如何,建议为所有压缩文件创建 par2 恢复记录。一点错误都可能导致整个存档完全损坏。