从在线地图集提取数据

Question

网上有一个阿特拉斯我想从中提取值。地图集提供了一个工具（“查询”），当您单击地图上的某个位置或圈出某个区域时，或者您可以指定想要该值的点的纬度/经度时，该工具就可以提取值。我不想手动提取值，而是想使用命令行自动提取数据；我要么编写一个脚本来提取输入经度/纬度的值，要么提取所有位置的所有值，只要我也能获得返回点的纬度/经度。什么实用程序可以从地图集中抓取数据，并成为命令行脚本的一部分？scrapy看起来很有希望，但也许有更好的工具。或者如果你能告诉我“查询”工具使用什么语言，这将帮助我开始。

Answer 1

该网站大量使用 javascript (jQuery)。

我建议首先执行以下操作：

1. 安装 Firefox
2. 安装篡改数据添加在
3. 加载网站，开始篡改
4. 使用查询工具并查看自动生成的 XMLHttpRequests（参见篡改数据日志）

也许这已经足以识别相关请求及其创建方式。如果这不起作用，您将不得不阅读 javascript 源代码。

由于所有请求很可能只是HTTP 获取和HTTP POST带有特定参数的请求，您可以开始使用诸如 之类的工具进行自动化curl。此外，scrapy确实看起来很有希望，似乎带来了很多不错的功能（虽然我自己没有测试过）。

---

除了使用带有 Temper Data 插件的 Firefox，您还可以使用任何其他浏览器来捕获 HTTP 流量，例如wireshark。