我正在尝试找到一种方法来解析我们的 Amazon S3 访问日志以获取一些网络统计数据。
我一直在尝试使用 AWStats 7，但我发现在某个月的第 9 天之后，它无法再处理任何日志，因为它的内存不足。该服务器有 4GB 的内存
我们的 S3 日志相当大（〜1gig/天），并且 CloudFront 日志很快可能会达到 10-20gig/天。
是否有任何软件可以从 S3（以及即将推出的 cloudfront）日志生成网络统计数据？
我知道 s3stat.com 但我想要一些我可以自己运行的东西。
答案1
我建议访问。我们在大约 35 分钟内解析了大约 1.2 亿次命中，这比 awstats 快得多。似乎它不会消耗太多内存。（< 1GB）它在 8GB RAM 系统上运行。
你应该尝试一下。
答案2
我会考虑在 EMR 上运行 karmasphere 分析器来针对您的 CloudFront 日志目录运行 SQL 查询（KSA 知道如何从 bucket->folder->gzip->.log 进行查询）