如何更快地获取wget镜像网站？

Question

当我使用wget -m url它时，一次下载一个文件。

如何实现wget一次下载多个文件？

Answer 1

有这样的脚本theripper.sh（链接到存储库wget），它结合了蜘蛛和aria2c多线程下载器的使用。

但简单的答案是使用wget2.有一个回购协议您可以从中克隆并构建它，或者您可以轻松地使用sudo apt install wget2.用法几乎与 相同wget，但您可以获得更多可以完成这项工作的选项：

--max-threads         Max. concurrent download threads.
                          (default: 5)

Answer 2

要镜像网站，您可以使用网络爬虫。wget（带有-m标志）已列出，但wget并非旨在进行并行下载。aria2另一方面无法抓取网站，但会下载网址列表。您必须在一开始就知道 url 列表。

您需要一个可以同时完成这两件事的工具。在这个问题中有建议使用httrack：httrack url将镜像url8 个同时连接。