我被难住了,这是一个相当简单的问题。我有一个名为twarc
我正在执行的命令行实用程序。这可以构建相当大的文件。我想让它继续运行并生成 5GB 大小的文件,以便于下游处理。我正在尝试运行以下命令:
twarc "wordlist" > outputfile.jsonl | split -b 5G
然而,该文件一夜之间变成了 10.4GB。我可以| split -b 5G
手动运行,但我不想手动运行。
我正在使用 split (GNU coreutils 8.25) 和 Windows Linux 子系统。
答案1
从评论来看,答案一直就在我面前!
问题是我正在编写命令的标准输出到一个文件,这有效地结束了命令。为了将其通过管道传输到 split,我需要不写入文件。例如:
twarc "wordslist" | split -b 1G
希望能帮助别人!