![日志服务器设置和测试,使用开源日志管理器](https://linux22.com/image/800839/%E6%97%A5%E5%BF%97%E6%9C%8D%E5%8A%A1%E5%99%A8%E8%AE%BE%E7%BD%AE%E5%92%8C%E6%B5%8B%E8%AF%95%EF%BC%8C%E4%BD%BF%E7%94%A8%E5%BC%80%E6%BA%90%E6%97%A5%E5%BF%97%E7%AE%A1%E7%90%86%E5%99%A8.png)
我一直在尝试启动并运行一个新的、集中的日志服务器以进行一些测试,但遇到了一些问题。
第一部分是我已经安装了 Kibana,但无法索引任何内容,尝试了 Kibanas 自己的大部分故障排除方法。它似乎无法读取远程日志文件,甚至无法将标准日志索引为消息、审计等。有什么好的提示可以告诉我我可能做错了什么吗?还在另一台服务器上尝试了 ELSA,问题相同。感觉 Elastisearch 无法处理任何日志,无论是发送的还是磁盘上的。
有什么好方法可以使用旧日志并尝试此服务器吗搜索和索引?
第二部分。有没有人能指点一下如何测试日志服务器,如何处理来自防火墙、交换机、路由器、Windows 和 Linux 机器等不同设备的日志。我主要关注 rsyslog。syslog-ng 在这方面是否更好?或者我应该尝试一些完全不同的东西?
现在我正在使用装有 Centoos 和 Ubuntu 服务器的 VM。还有一个 fortigate 作为日志创建器,还有从运行 SQL 数据库的生产 Linux 服务器中提取的旧日志。尚未开始使用 crontab,希望先让日志管理器运行起来。所以我看到我可以进行自定义搜索等等。我也考虑过将存储放在不同的系统上。这会给我带来什么问题?
答案1
您每天有多少个日志?
如果小于 500 MB,您可以查看 splunk。这是一个很酷的工具,可以让您轻松索引日志并创建图表/相关性。当然值得一试。此外,splunk 会分别索引每个字段,因此默认情况下可以处理不同的格式。
至少在我的例子中,我们在 Linux 机器上使用 rsyslog,在 Windows 机器上使用 Snare。它们全部收集到一组机器中,然后由 splunk 进行处理。
否则,如果您想使用集群而不是单台机器,您可以使用 corosync、pacemaker 和 glusterfs 在它们之间进行同步(然后在其基础上使用您想要的任何应用程序进行可视化)
答案2
全面披露:我是 LogZilla 的创始人。
你可以给予日志记录尝试一下。只需下载 VM 并从网站订购评估许可证。评估是一个 30 天的(几乎)无限制许可证,并且,只要您开始向其发送日志,它就会在主页的右上角运行一个“股票行情机” - 这会立即为您提供每秒传入事件 (EPS) 率,以便您可以衡量您的需求。一旦该服务器运行了大约 24 小时,您就可以进入脚本目录并运行:
./LZTool -v -r ss
它会进行分析,预测未来的服务器规模需求(预期的磁盘和内存)。最新版本的 LogZilla 每天可以处理超过 10 亿个事件,查询这些数据只需大约 5 秒钟。您还可以使用位于 scripts/contrib/syslog2logzilla 的源中包含的脚本导入旧日志
此外,LogZilla 对于每天 100 万个事件是免费的。