是否有任何网络爬虫可以访问用户区域进行下载?

是否有任何网络爬虫可以访问用户区域进行下载?

实际上,我正在使用 Httrack 作为网络爬虫,它是否可以使用我的凭据访问会员区并下载 zip 文件,因为它们被禁止公开访问。

先感谢您。

更新:

毕竟问题出在我的 IPV6 上,
必须禁用它;使用(Windows 8 x64),我创建了一个注册表 Dword32“DisabledComponents”,其值为 0xffffffff,
重新启动系统
httrack 即可使用捕获 URL,因为使用 ipv6 时它为我提供了一个代理地址,如 xxxx::xxxx:xxxx:xxxx%19,而这对于 Windows 中的代理设置没有用

谢谢你的回答

答案1

由于您问题的措辞方式,我们很难完全理解您实际上在问什么。我猜您是想访问网站的受限部分并从该部分下载文件?

如果是的话,是的可以办到但这并不容易实现,如果网站提供注销链接,它就会失败,这毫无疑问。当爬虫跟踪注销链接时,您将不再与网站保持有效的会话/cookie,并且爬虫将停止。

您可以在这里查看您需要了解的一切:http://forum.httrack.com/readmsg/288/284/index.html

相关内容