我存储了大量 (TB) 的日志。这些日志很少被提取,即使提取,也只需要一个文件。
你能推荐一种超高效、超稳定的压缩算法吗?比 bzip2 好得多?
答案1
lzma (又名 xz) 应该比 bzip2 表现更好,但需要的时间会更长。paq
(又名 zp) 表现会更好,但压缩需要很长时间,解压缩也需要同样长的时间。
两者均适用于 Windows 和 *nix 环境(大多数 *nix 系统都有可用的软件包)
对 smartd 日志进行快速测试:
Original 3900K
GZip 208K 0.11s
BZip2 71K 3.07s
XZ 13K 1.76s*
ZP 6K 25.68s*
*我已为xz
和编译了 -O3 端口zp
。gzip
和bzip2
二进制文件未经过任何优化就进行了预编译。