大文件压缩

Question

我正在尝试压缩大型数据集（每个数据集 15-400 GB）。我正在寻找具有以下功能的最佳 Mac 压缩软件：

1. 压缩率高。
2. 速度很快

我尝试过 7zX，它在 Ultra 设置下具有出色的压缩率，但速度很慢。我想知道我是否可以更改设置，以便

1. 使用我拥有的所有核心
2. 最大 RAM
3. 和最大 CPU。

这样我就可以缩短时间。或者是否有其他软件提供此选项。当然，如果有人可以推荐更好的软件，我很乐意听听。

还介绍了如何处理稍后需要压缩/解压的大文件的工作流程。

谢谢。

Answer 1

bzip 有以下几个版本（猪) 和 bzip2 (压缩包) 都是多线程的。两者都将使用 100% 的所有内核。

使用最大 RAM 是没有意义的，算法将占用运行所需的最大 RAM 量，而不会更多。

哪种算法最好，取决于您的使用情况和数据，但 pigz 可能是最快的算法之一，而 7z 可能是最慢的算法之一，但压缩率更好。

Answer 2

你可能想尝试压缩包。它使用 LZMA 压缩，窗口大小非常大（最大 900 MB），因此可以减少 BZIP-2 或 GZIP 无法减少的冗余。它也可以多线程运行。只需使用默认设置就可以了（不要使用此-z选项，因为它需要很长时间）。