☰

并行下载文件

tag-icon • tag-icon command-line scripts wget
并行下载文件

我有一个想要下载的文本文件中图像的 URL 列表（大约 50k）。

有没有办法我可以使用异步方式下载它获得命令或任何其他方式，通过从文本文件中读取它。

答案1

类似下面的操作可以实现您的目的，其中“测试”是一个带有 URL 图像列表的文本文件：

cat testing | xargs -n 1 -P 8 wget -q

在我的系统上运行良好！您可以-P按照手册页的描述操作该选项：

-P max-procs
  Run up to max-procs processes at a time; the default is 1.  If max-procs is 0,
  xargs  will  run  as  many processes as possible at a time.  Use the -n option
  with -P; otherwise chances are that only one exec will be done.

参考：

相关内容