实时备份 Amazon S3 中的日志的最佳方法是什么？

Question

我想要实时备份 Amazon S3 中的所有日志，我应该使用哪种工具？

Answer 1

问题是 S3不允许您附加到现有的 S3 对象，因此突然之间，一台机器日志中的一千行现在变成了一千个 S3 对象——哇！S3 不能很好地处理大量小文件，您的成本将迅速飙升。您可以替换对象（获取现有对象，添加新行，重新提交），但这同样昂贵。

那么让我们再扩大一下这个问题的范围——如果我们把“实际时间”改成“大约一个小时前”会怎么样？或者有人会说，当您每小时轮换一次日志时，您可以将它们轮换到 S3。

要回答“实时”日志的问题，目前已经有多种解决方案，但需要进行一些整合。我想到两个很棒的解决方案：

• Splunk：价格昂贵，但很棒。我记得他们确实有免费套餐，但这取决于你有多少数据。
• Fluentd：直接集中式数据收集，可以输出到 S3（通过聚合数据）。