为了在 lambda 函数中快速加载,对于“仅追加”事件最好的服务是什么

为了在 lambda 函数中快速加载,对于“仅追加”事件最好的服务是什么

我在新的 CW Event Bridge 中发生了一系列事件,我需要从 REST API 端点、lambda 函数(python + pandas)获取一些统计信息。

什么是最好的 AWS 服务来存储这些数据以便快速加载到 lambda 函数中?

以下是我考虑过的最大缺点:

  • CloudWatch 日志太慢
  • CloudWatch Insights 仅提供最后 1000 条数据,没有分页(而且速度太慢)
  • 延长保留仅涵盖过去 7 天
  • S3 没有“附加”操作
  • DynamoDB 可能消耗过多的写入容量
  • ElasticSearch 似乎有点过度(并且需要运行集群!=无服务器)

答案1

Kinesis 数据流看起来非常适合此用例。如果您只想从事件流中提取统计信息,并且可以使用 SQL 或 Java,那么您也可以尝试Kinesis 数据分析

相关内容