☰

将 wget 的输出通过管道传输到 grep 中以选择行

tag-icon • tag-icon grep wget
将 wget 的输出通过管道传输到 grep 中以选择行

我需要下载一个大文件，但它太大，无法容纳在服务器上（~1Tb），因此我只想保留我需要的行，这些行可以在模式文本文件中找到。

wget www.foo.com/file.txt | grep -f file.txt

模式文本文件包含类似的模式bar，大文本文件就像

test blah blah foo
blah test bar blah

我尝试过各种组合，但没有一个在文件中保留正确的行。这可能吗？

答案1

wget -q URL -O-使用 STDOUT ( ) 和文件中的搜索模式的简单方法运行没有问题：

echo HERR > /tmp/search.txt
echo Frau >> /tmp/search.txt
wget -q https://archive.org/stream/DieBibel-AltesUndNeuesTestament-NachMartinLuther/DieBibel-Deutsch-Pdf_djvu.txt -O- | grep -f /tmp/search.txt

相关内容