我一直在尝试启动并运行一个新的、集中的日志服务器以进行一些测试，但遇到了一些问题。
第一部分是我已经安装了 Kibana，但无法索引任何内容，尝试了 Kibanas 自己的大部分故障排除方法。它似乎无法读取远程日志文件，甚至无法将标准日志索引为消息、审计等。有什么好的提示可以告诉我我可能做错了什么吗？还在另一台服务器上尝试了 ELSA，问题相同。感觉 Elastisearch 无法处理任何日志，无论是发送的还是磁盘上的。
有什么好方法可以使用旧日志并尝试此服务器吗搜索和索引？
第二部分。有没有人能指点一下如何测试日志服务器，如何处理来自防火墙、交换机、路由器、Windows 和 Linux 机器等不同设备的日志。我主要关注 rsyslog。syslog-ng 在这方面是否更好？或者我应该尝试一些完全不同的东西？
现在我正在使用装有 Centoos 和 Ubuntu 服务器的 VM。还有一个 fortigate 作为日志创建器，还有从运行 SQL 数据库的生产 Linux 服务器中提取的旧日志。尚未开始使用 crontab，希望先让日志管理器运行起来。所以我看到我可以进行自定义搜索等等。我也考虑过将存储放在不同的系统上。这会给我带来什么问题？
答案1
您每天有多少个日志？
如果小于 500 MB，您可以查看 splunk。这是一个很酷的工具，可以让您轻松索引日志并创建图表/相关性。当然值得一试。此外，splunk 会分别索引每个字段，因此默认情况下可以处理不同的格式。
至少在我的例子中，我们在 Linux 机器上使用 rsyslog，在 Windows 机器上使用 Snare。它们全部收集到一组机器中，然后由 splunk 进行处理。
否则，如果您想使用集群而不是单台机器，您可以使用 corosync、pacemaker 和 glusterfs 在它们之间进行同步（然后在其基础上使用您想要的任何应用程序进行可视化）
答案2
全面披露：我是 LogZilla 的创始人。
你可以给予日志记录尝试一下。只需下载 VM 并从网站订购评估许可证。评估是一个 30 天的（几乎）无限制许可证，并且，只要您开始向其发送日志，它就会在主页的右上角运行一个“股票行情机” - 这会立即为您提供每秒传入事件 (EPS) 率，以便您可以衡量您的需求。一旦该服务器运行了大约 24 小时，您就可以进入脚本目录并运行：
./LZTool -v -r ss
它会进行分析，预测未来的服务器规模需求（预期的磁盘和内存）。最新版本的 LogZilla 每天可以处理超过 10 亿个事件，查询这些数据只需大约 5 秒钟。您还可以使用位于 scripts/contrib/syslog2logzilla 的源中包含的脚本导入旧日志
此外，LogZilla 对于每天 100 万个事件是免费的。