是否有可用的行业标准工具来解析 s3 文件并将其加载到数据库表中?

是否有可用的行业标准工具来解析 s3 文件并将其加载到数据库表中?

我在 s3 存储桶上有多种内容格式的文本文件。

最简单的格式具有如下 dhwon 分隔内容:

Field1|field2|field3|field4

我想解析上述分隔文件并将内容加载到具有相同结构(field1、2 等)的数据库表中。

是否存在可用于进行这种解析的行业标准工具?

Amazon DMS(数据库管理系统)能解决这个问题吗?因为 DMS 主页 (https://aws.amazon.com/dms/) 说:

“借助 AWS Database Migration Service,您可以持续复制高可用性数据,并通过将数据流式传输到 Amazon Redshift 和 Amazon S3 将数据库整合到 PB 级数据仓库中”

答案1

有很多方法可以实现这一点;以下是您可以采用的一种特定于 AWS 的方法:将数据从 Amazon S3 存储桶中的文本文件加载到 Amazon Aurora MySQL 数据库集群中为了使其发挥作用,需要遵循许多小步骤,但关键的大步骤是:

  1. 设置您的极光MySQL 数据库,包括创建表数据将被加载到
  2. 授予 Aurora 访问 S3 的权限
  3. 授予在 Amazon Aurora MySQL 中加载数据的权限
  4. Load data from s3陈述

相关内容