我在 s3 存储桶上有多种内容格式的文本文件。
最简单的格式具有如下 dhwon 分隔内容:
Field1|field2|field3|field4
我想解析上述分隔文件并将内容加载到具有相同结构(field1、2 等)的数据库表中。
是否存在可用于进行这种解析的行业标准工具?
Amazon DMS(数据库管理系统)能解决这个问题吗?因为 DMS 主页 (https://aws.amazon.com/dms/) 说:
“借助 AWS Database Migration Service,您可以持续复制高可用性数据,并通过将数据流式传输到 Amazon Redshift 和 Amazon S3 将数据库整合到 PB 级数据仓库中”
答案1
有很多方法可以实现这一点;以下是您可以采用的一种特定于 AWS 的方法:将数据从 Amazon S3 存储桶中的文本文件加载到 Amazon Aurora MySQL 数据库集群中为了使其发挥作用,需要遵循许多小步骤,但关键的大步骤是: