我在新的 CW Event Bridge 中发生了一系列事件,我需要从 REST API 端点、lambda 函数(python + pandas)获取一些统计信息。
什么是最好的 AWS 服务来存储这些数据以便快速加载到 lambda 函数中?
以下是我考虑过的最大缺点:
- CloudWatch 日志太慢
- CloudWatch Insights 仅提供最后 1000 条数据,没有分页(而且速度太慢)
- 延长保留仅涵盖过去 7 天
- S3 没有“附加”操作
- DynamoDB 可能消耗过多的写入容量
- ElasticSearch 似乎有点过度(并且需要运行集群!=无服务器)
答案1
Kinesis 数据流看起来非常适合此用例。如果您只想从事件流中提取统计信息,并且可以使用 SQL 或 Java,那么您也可以尝试Kinesis 数据分析。