如何使用 wget 下载所有文件，目录和子目录

Question

我有一些链接，例如：

• http://foo.com/1/1/1/1.jpg
• http://foo.com/1/2/2/2.jpg
• http://foo.com/1/3/3/3.jpg
• ...

如何使用 下载所有文件和目录wget？

Answer 1

HTTP 不会真正暴露文件系统，因此wget通常无法抓取整个目录等。它只能处理它知道的资源。它会尝试抓取您指向的页面/站点中每个 URL，即相应元素的 URL，但如果页面未链接到这些文件，它href甚至不知道它们，因此它不会尝试获取它们。srcwget

翻译：如果你想获得所有这些内容，请将其链接到页面/站点中的某个位置。或者，使用 FTP，它更适合这项工作。

Answer 2

假设在名为 links.txt 的文件中有一个 URL 列表：

for url in $(cat links.txt); do wget $url; done

使用 aria2：

aria2c -i links.txt

如果您拥有的是一个包含大量 href 和其他标签的 html 文件...，您可以使用正则表达式来解析它们并最终获得一个干净的列表。