☰

从列表下载文件

tag-icon • tag-icon wget
从列表下载文件

如何使用wget或其他自动方式下载文件（在文本文件中列出）？

示例文件列表：

www.example.com/1.pdf
www.example.com/2.pdf
www.example.com/3.pdf

答案1

wget有一个内置标志：wget -i your_list，其中your_list是包含由换行符分隔的 URL 的文件。您可以通过阅读找到此类内容man wget

答案2

让它们与

cat urlfile | parallel --gnu "wget {}"

默认情况下，它将运行与核心数量相同的进程，如果您确实想通过在并行后添加“-j 20”来快速将它们拉低，则可以将其再增加 10 倍。

答案3

parallel有一个内置标志--arg-file( -a)，它将使用输入文件作为源，因此您可以避免cat |。您可以使用

parallel --gnu -a urlfile wget

或者简单地parallel --gnu wget < urlfile

答案4

awk '{print "http://" $0;}' list.txt | xargs -l1 wget

其中 list.txt 是您的列表文件

相关内容