我是一名社会科学研究员,我正在处理来自非政府组织、政府等各种公共数据库的数据。假设我没有机会向管理员索要整个数据库。但是,如果我有足够的耐心,我可以逐个下载所有数据。但数据库的大小使得用蛮力解决问题几乎是不可能的。
那么,有没有办法下载包含其所有组件的公共数据库?
以下是一个例子:http://www.trademap.org/tradestat/Country_SelProductCountry_TS.aspx
您可以按进口国查看日本活体动物进口量(美元)。除了逐个点击之外,有没有更快的方法可以下载每个国家和产品的所有数据?
先感谢您。
答案1
我认为最好的选择是下载它生成的 Excel 文件。
然后使用该文件并上传/插入到您的数据库。
另一个选择是屏幕抓取,但可能不值得这么麻烦,因为他们无论如何都会向你提供 Excel 文件
答案2
看起来您提到的网站使用了 ASP.NET ValueState。
查看此答案以获取有关如何解密的更多信息。
https://stackoverflow.com/questions/1350216/what-does-the-viewstate-hold