大文件的流式压缩

大文件的流式压缩

我们想要压缩大型备份文件并将其推送到云中。我正在寻找一个应用程序/实用程序/代码库,让我们能够在传输过程中高效地进行压缩。

我发现与 Sql Native 压缩相比,WinRAR 压缩 100G 文件所花的时间要长 40 倍,但它在减小文件大小方面要好得多。我想要一款能够提供良好压缩效果而又不需要花费数小时的产品。

我们的文件是 Sql Server 备份,使用 100G 的测试数据库和本机 sql 备份压缩,这将文件大小减少了 3 倍,备份时间从 10 分钟变为 25 分钟。15 分钟的 CPU 时间节省了 66G 带宽,我们可以将其用于推送到云端的其他文件。

我尝试使用 WinRAR 压缩 100G 备份文件,压缩系数为 9,比原生 SQL 好 3 倍,这很棒,因为我们现在可以将 9 倍的内容推送到云中。但压缩需要 7 个小时!

我们不可能是唯一一家遇到这个问题的商店?你们有什么解决方案可以最大限度地利用宝贵的带宽。

相关内容