我知道有很多类似的问题,但它们已经过时了,我已经尝试了几乎所有方法,但仍然没有用。我目前正在尝试使用 wget 下载整个网站,但无法通过登录页面。以下是我尝试过的事情的列表:
- 指定用户和密码作为参数。
wget --user="user" --password="password" $url
- 以 netscape 格式加载从 firefox 导出的会话 cookie。
wget --load-cookies cookies.txt $url
- 关闭机器人排除,这是必要的,但不足以抓取网站。
wget -e robots=off $url
最后这是我的命令wget --mirror --user=$user --password=$password -e robots=off --page-requisites --convert-link --no-clobber --no-parent --load-cookies cookies.txt $url
经过所有这些,我仍然无法通过登录页面。我还能做些什么吗?我应该尝试使用其他工具吗?或者这个网站对 wget 之类的工具来说太安全了?