我要处理大量数据集,因此我的 1TB 驱动器很快就满了。但是,使用 LZMA(7zip、bzip2)时,数据具有高度可压缩性。到目前为止,我发现的唯一具有透明压缩的文件系统是 Btrfs,但尚未稳定。是否有可靠的解决方案可以通过压缩管道传输数据并绑定到压缩图像文件?
欢迎任何想法!
但我不想修补任何文件系统驱动程序。
谢谢!
答案1
熔断器压缩本来是理想的,因为它存在于虚拟文件系统中,因此不需要更改实际运行的文件系统。然而,遗憾的是,该项目已经停止运行,因此我建议远离它。
文件系统支持在撰写本文时仅有 ZLIB 和 LZO 压缩。
Linux 上的 ZFS(非 FUSE)提供更多选项,包括 LZ4 压缩。它得到积极维护,并且 ZFS 的用户群在除 Linux Unices(Sun、BSD 等)之外的 Unices 中通常相当大。
出于其他原因,迁移到“第三代”文件系统也可能是一个好主意,但这完全取决于您实现这一点的灵活性。
答案2
您还可以尝试将 ZFS 与 Gzip-9 结合使用,将会获得一些良好的结果。
也可以考虑使用 Squashfs(不过我没有尝试过)。