目前我们没有任何日志工具来过滤巨大的哑文件。是否有任何开源 BI 或日志工具能够导入哑文件并进行自动/可选过滤?
当前的哑文件示例:
2019-02-11 03:06:30.202 INFO maskParams=false
2019-02-11 03:06:30.205 INFO Start request :: ipAddress=103.22.200.95
2019-02-11 03:06:30.205 INFO User-Agent = Mozilla/5.0 (Linux; U; Android 7.1.1; zh-cn; MI MAX 2 Build/NMF26F) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/61.0.3163.128 Mobile
Safari/537.36 XiaoMi/MiuiBrowser/10.5.1
2019-02-11 03:06:30.205 INFO Request Query String=[customer_name]
2019-02-11 03:06:30.335 INFO Checking current ip address
2019-02-11 03:06:30.335 ERROR Not a valid ip address 2408:84e4:412:4b02:73cd:9684:1ab0:8437
2019-02-11 03:06:30.336 INFO Get country from GeoIpRange, ip =2408:84e4:412:4b02:73cd:9684:1ab0:8437
2019-02-11 03:06:30.336 ERROR Not a valid ip address 2408:84e4:412:4b02:73cd:9684:1ab0:8437
2019-02-11 03:06:30.385 INFO End request (00:00:00.183)
导入哑文件后,能够向我提供以下详细信息:
- 开始日期和时间/
- 结束日期和时间/
- 顾客姓名/
- 没有有效的 IP 地址详细信息
答案1
有许多开源日志收集器和索引器:
斯普朗克?弹性搜索?日志存储?基巴纳?
它们是 BI 工具吗?我不知道。我猜只有当你绘制一些业务指标时。