如何从分布在许多页面的列表中获取链接到的页面列表

如何从分布在许多页面的列表中获取链接到的页面列表

我有一个网页,基本上由指向其他页面的链接列表组成。我想使用 wget 下载列出的所有页面。

使用“wget -r -l1 URL”我基本上得到了我想要的。

但是如果列表分为几页(URL 以“?page=3”、“?page=4”结尾),该如何做同样的事情呢?

答案1

如果您知道页数,则可以使用 for 循环:

for i in {1..5}; do wget -r -l1 URL?page=$i; done

相关内容