Akamai 日志处理

Question

我正在挖掘 Akamai 日志，下载 Excel 表，然后手动合并它们，以便对数据进行排序以找到热门视频和引荐来源。您知道有什么工具可以帮助进行此类处理吗？我正在寻找一种类似 Urchin 的东西，它曾经用于 Apache 日志，但用于 Akamai 日志。

Answer 1

您可以配置日志传送选项，以“组合”格式发送日志。因此，您可以使用您选择的任何标准工具（例如 awstats 或类似工具）。

Answer 2

这问题可能会有帮助。我认为Splunk和埃皮洛格似乎可以做你想做的事。

那里和其他地方引用的其他工具也可能会有帮助:)

Answer 3

查看 Sumo Logic，它提供与 Akamai 的云到云集成，具有丰富的开箱即用内容，利用云监视器。设置非常简单，您不必担心批量下载/处理任何本地内容。

https://www.sumologic.com/2013/10/09/akamai-and-sumo-logic-integrate-for-real-time-application-insights/

免责声明-我是一名 Sumo 员工。

Answer 4

我在做这样的事情时会使用大量的和awk。sortuniq -c

Perl 的可重复性很好，但要小心，在处理大型数据集时（我最近一直在玩 DFZ 路由器的 BGP 转储），它真的如果泄漏任何内存，甚至可以轻松地将大型机器推入交换区。

诸如 Splunk 等工具似乎适用于简单的 unix 管道可能无法工作的临时用途，但对于更永久的报告来说似乎不是一个好的解决方案。

您可以简单地使用 Awstats 或类似的工具，大多数网络日志处理工具都可以被指示使用不同的输入格式。