管道输出时 zcat / gzip 错误

管道输出时 zcat / gzip 错误

我正在使用 zcat 输出相当大的 .gz 压缩文本文件的内容。我将输出传输到 grep 并搜索特定的字符串。下面是我正在运行的命令。

dylan@xaelah:/media/dylan/ExtHD$ zcat wpaPasswords2.gz | grep baconisdelicious

该命令运行一段时间,然后退出并出现以下错误。

gzip: wpaPasswords2.gz: unexpected end of file

我还尝试将输出通过管道传输到 tail 命令,该命令使用默认选项完成输出,但不输出压缩文件的最后 10 行,它输出 10 行,但不输出最后 10 行。如果我将输出通过管道传输到“tail -n 1”,例如:

dylan@xaelah:/media/dylan/ExtHD$ zcat wpaPasswords2.gz | tail -n 1

我收到相同的错误消息

gzip: wpaPasswords2.gz: unexpected end of file

当命令运行时,我观察 htop 的输出,瓶颈是 I/O,计算机没有耗尽 RAM,所以我不清楚如何准确确定此问题的原因是什么。我检查了日志,没有发现任何有价值的东西。

我尝试执行所有这些操作的原因是因为我将合并几个非常大的 .gz 文件,同时对它们进行排序并删除重复项,但是我想确保我的流程在对大量数据运行脚本之前能够正常工作。任何建议将不胜感激,谢谢!

答案1

该文件可能已损坏。您可以使用 进行检查gzip -t。您可能还想看看zgrep

相关内容