我有一个大文件(约 20 GB),我想快速(近似)估计一下它的压缩效果。正在寻找一个可以立即猜测压缩文件大小的程序,并且随着数据分析时间的延长,估计的准确性可能会提高。
答案1
使用该-v
选项gzip
可以打印压缩率,因此,只需进行快速粗略的估计,您就可以执行以下操作:
$ dd if=myfile bs=1M count=100 2>/dev/null | gzip -v >/dev/null
80.5%
$
当然,虽然快速而直接,但如果文件内容不一致,仅检查前 x 个字节(本例中为 100 MB)的压缩率可能会产生误导。
例如,对于文件系统映像来说,这可能不太好。
答案2
如果不筛选所有数据,就无法知道其可压缩性。请随意查看这页面上列出了压缩工具和速度,但你所要求的基本上是不可能的。