使用 SQL 合并.xlsx 文件和超过 1,000,000 行?

使用 SQL 合并.xlsx 文件和超过 1,000,000 行?

我在执行一个操作时遇到了麻烦,我认为这个操作受到数据大小的限制 - 这个操作是合并和过滤两个 Excel 工作簿,每个工作簿都有超过 100 万行。

也许有人愿意在这里运用一些专业知识来帮助我了解我应该采取的路线。我想在 Microsoft Access 中使用 SQL。

这两个工作簿分别是车辆数据和事故数据。它们都包含与英国道路事故相关的信息。车辆工作簿提供与每辆车相关的信息(事故 ID 号、车辆类型、车速……)。事故工作簿提供与事故相关的信息(事故 ID 号、经度、纬度、伤亡人数……)。

我想将两个工作簿合并为一个工作簿,使用车辆数据作为主要工作簿。因此,使用唯一的事故 ID 号将事故工作簿行中的信息添加到车辆工作簿行中。注意:它们都有唯一的事故 ID 号,但是,车辆工作簿通常会多次列出唯一的事故 ID 号,因为道路事故中通常有多辆车(28 辆车是此数据集中记录的最大车辆数)。因此,行需要调用并随后多次列出事故工作簿信息。

我认为最好学习一点 SQL,因为我相信 SQL 可以同义地执行我的第二项任务。

任务 2. 我想在合并数据集后从数据集中分离出特定车辆。我想分离自行车数据,其中包含一行中的所有信息,以构建数据透视表并插入 QGIS。

因此,最终产品将是一张自行车事故数据表,其中包含来自两个工作簿的每个事故的所有数据。

有人能帮助我开始吗?

据我了解,我需要将两者组合为链接服务器,然后使用 TSQL 执行过滤。

答案1

您可以使用Microsoft 插件 Power Query为了合并合并多个文件。

在 Power Query 中有一些局限性。但是,您应该能够合并更多行(最多 100 万行),具体取决于您系统的可用内存(对于大型数据集,您应该使用 64 位版本)。
如果您将表格导出到 Excel 工作表,则最终数据集必须低于 100 万行。

相关内容