☰

通过命令行多线程批量下载 URL

tag-icon • tag-icon command-line bash wget curl gnu-parallel
通过命令行多线程批量下载 URL

我有 100,000 个小文件 URL 需要下载。我想使用 10 个线程，并且必须使用流水线。我将结果连接到一个文件。目前的方法是：

cat URLS | xargs -P5 -- curl >> OUTPUT

有没有更好的选项可以显示整个操作的进度？必须从命令行运行。

答案1

cat URLS | parallel -k -P10 curl >> OUTPUT

或者如果进展更重要：

cat URLS | parallel -k -P10 --eta curl >> OUTPUT

或者：

cat URLS | parallel -k -P10 --progress curl >> OUTPUT

10 秒安装将尝试进行完整安装；如果失败，则进行个人安装；如果失败，则进行最小安装。

wget -O - pi.dk/3 | sh

观看简介视频以获得快速介绍： https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

相关内容