我们有一个网站，该网站每月生成大约 100GB 的 IIS Web 日志文件。我们希望从这些日志中获取统计信息，例如访问次数最多的 URL、请求次数最多的经过身份验证的用户等等。我们还希望获得一些基本的深入分析功能，例如查看用户最常访问的 URL。
我们为此测试了几种不同的工具，但没有找到一种不会遇到性能问题的工具。例如，我们尝试了 SmarterStats，并给了它 500GB 的日志，但它运行了几天，CPU 使用率高达 100%，几天后服务崩溃了。我知道 Microsoft Log Parser，但我正在寻找一种可以生成易于理解的图表的工具，以便我进行深入研究。
有没有什么工具可以实现这一点，可以处理数 TB 的日志文件？
答案1
我使用了 IIS 日志解析器，之后可以通过 SSIS 将日志发送到 MSSQL，并可以从 DB 创建各种图表。
最初，为了对日志进行排序并为日志解析器做准备，我使用了 power shell 来对日志进行排序，并使用 7zip 在服务器之间传输日志。