我正在尝试抓取这个网页,但它位于需要用户/密码的登录表单后面。
我使用 Firefox 调试模式来查找 HTTP 请求。输入凭据后,会出现一个 POST 请求,该请求会返回set-cookie
响应标头。随后GET
使用此cookie(而不是用户/密码)来最终访问实际页面。 cookie 有一个过期日期。
我假设我必须1-通过curl POST获取该cookie,将其转储到a中cookie.txt
,2-然后再次使用带有-b cookie.txt
选项的curl GET(没有需要传递用户/通行证)。
我想set-cookie
通过curl
命令行获取它(步骤 1)。
我尝试复制 FirefoxCopy as cURL
在 POST 上使用命令所做的操作。它形成了curl请求(开关内有user/pass , a内有--data-raw
一个short 。 问题是,它确实返回一个标头,但cookie不存在。下载的网站(HTML)表明出了问题。 现在,在形成,有一些字段,例如,和 ,这些字段似乎在每个登录页面上都发生了变化,我通过一些脚本填写了它们,但这并没有解决问题。ASP.NET_SessionId
-H 'Cookie: ...
--data-raw
__VIEWSTATE
__VIEWSTATEGENERATOR
__EVENTVALIDATION
GET
我正在使用从 Firefox 复制的curl 命令-c cookie.txt -D - -v
......它不会在标头中打印 cookie 或将 cookie 转储到文件中。