☰

为什么 wget/curl 不能下载网页的所有源代码？

tag-icon • tag-icon curl wget
为什么 wget/curl 不能下载网页的所有源代码？

我尝试下载这个请愿页面上的1198页签名http://www.musikskatt.se/（在底部）但是curl 和wget 都将生成的文件中带有签名的div 保留为空。

我怎样才能解决这个问题？

（想下载全部用grep搜索具体名字什么的）

答案1

您可以在浏览器的开发工具中检查如何接收数据。即通过XHR发布到http://www.musikskatt.se/Home/LoadData带参数{ 'pageNumber': '1'}.这就是你应该得到它们的方式。

也可以看看阿贾克斯。

答案2

如果您禁用在浏览器中，您将看到如果刷新页面，则不会呈现名称。

这不是一个有能力的库的编程语言的wget任务。curljavascript

或者您最终可以尝试找出调用的请求curl，并通过在浏览器开发工具、网络选项卡中进行挖掘来完成此操作

答案3

要从目录列表下载文件，请使用 -r （递归）

wget -r www.example.com

相关内容