点击多个网页上的每个链接

点击多个网页上的每个链接

在我们的项目中,我们有类似的页面http://123.4.5.6/3/4;里面有几个页面。我需要访问 URL 并单击其中的每个链接来下载一些文件(以自动方式)。

我怎样才能实现这样的目标?

答案1

您可能想要使用curlwget或者类似的东西。

以下是一些类似的问题:

使用 curl 从网页一次性获取所有文件

如何使用 wget 从网站下载所有文件(但不下载 HTML)

如何使用 wget 从我的网站下载所有链接并保存到文本文件?

因此你可以这样做:

curl --recursive --level 2 http://123.4.5.6/3/4

或使用简短的参数

curl -r -l 2 http://123.4.5.6/3/4

实际上,这不会产生点击,但它会发出请求并获取其答案。该-r参数表示它将递归请求所有链接以及此链接的答案中找到的链接等等。该-l参数指定递归的最大深度级别。因此,请根据需要更改数字 2。

您可以查看手册页以获取更多信息,只需man curl在终端中输入即可。输入 即可跳转到递归信息/Recursive Retrieval Options

相关内容