我想从我有登录名的网站下载一个 URL 列表,并通过表单登录(我假设它使用 cookie 进行身份验证)。
我怎样才能将 URL 文本加载到程序中并让其使用来自 Web 浏览器的 cookie 帮我下载它们?
另外,我需要在每次下载 URL 之间等待一段时间,这样才不会滥用服务器,如果可能的话最好是随机延迟。
你能告诉我怎么做吗?我正在寻找一个免费软件,最好
谢谢!
编辑:我只需要一个下载管理器,我将加载一个 URL 列表,然后它将使用来自 Web 浏览器的 cookie 下载它们!
I just want it to delay few seconds between each download!
答案1
对于非程序员来说,自动下载最简单的方法是使用所谓的网络浏览器宏记录器喜欢Firefox 的 iMacros或者Kantu(铬)。两个选项都是免费的。并且都带有“等待”命令,可用于延迟。
由于这些记录器可以自动化网络浏览器本身,它们还可以处理 cookie 等(例如,与 cURL 命令行工具不同)。