我该如何下载符合这些要求的网址?

我该如何下载符合这些要求的网址?

我想从我有登录名的网站下载一个 URL 列表,并通过表单登录(我假设它使用 cookie 进行身份验证)。

我怎样才能将 URL 文本加载到程序中并让其使用来自 Web 浏览器的 cookie 帮我下载它们?

另外,我需要在每次下载 URL 之间等待一段时间,这样才不会滥用服务器,如果可能的话最好是随机延迟。

你能告诉我怎么做吗?我正在寻找一个免费软件,最好

谢谢!

编辑:我只需要一个下载管理器,我将加载一个 URL 列表,然后它将使用来自 Web 浏览器的 cookie 下载它们!

I just want it to delay few seconds between each download!

答案1

对于非程序员来说,自动下载最简单的方法是使用所谓的网络浏览器宏记录器喜欢Firefox 的 iMacros或者Kantu(铬)。两个选项都是免费的。并且都带有“等待”命令,可用于延迟。

由于这些记录器可以自动化网络浏览器本身,它们还可以处理 cookie 等(例如,与 cURL 命令行工具不同)。

相关内容