我正在使用 filebeat 将本地日志文件中的数据发送到 graylog，与原始文件相比，我的存储开销是 20 倍。有大量的元数据字段，但我似乎无法摆脱它们。我尝试了许多删除字段的方法，例如： processors: - drop_fields: fields: ["ecs.version", "agent.version", "agent.type", "agent.id", "agent.hostname", "input.type"] 你们有没有什么建议，可以删除除时间戳和已发送的原始日志之外的所有内容？我不需要任何像 ID 或代理...
我能够运行下面的查询，该查询给出截至total二的响应match_phrase。 插入虚拟数据如下。 POST /mod1/_bulk { "index" : { } } { "msg": "BA1" } { "index" : { } } { "msg": "BA2" } { "index" : { } } { "msg": "BA2" } { "index" : { } } { "msg": "BA1" } { "index" : { } } { "msg": "BA2" } { "index" : { } } { "msg": "BA1" } { "i...
我有以下类似的日志。 我已经创建了虚拟对象index并创建了mapping如下所示的内容dev-tools PUT new { "mappings": { "properties": { "@timestamp": { "type": "date", "format": "yyyy-MM-dd HH:mm:ss.SSS" } } } } 以及indexed以下数据， PUT /new/_doc/1 { "@timestamp": "2021-11-05 08:12:14...
我正在学习使用 ELK，并且有一台作为测试客户端运行的 Debian PC。每 30 秒它会记录一条消息： 021-01-18T08:29:59.656-0500#011INFO#011[monitoring]#011log/log.go:145#011Non-zero metrics in the last 30s#011{"monitoring": {"metrics": {"beat":{"cgroup":{"memory":{"mem":{"usage":{"bytes":4096}}}},"cpu":{"system":{"ticks":17131...
-ELK 正在本地主机上运行并成功获取日志。 - 两个虚拟机都在同一台服务器上。 - 两个虚拟机上的操作系统都是 Ubuntu 18-04 LTS。 ...
我之前使用elk+redis+filebeat搭建了日志平台，现在将redis替换成codis之后，logstash报错： # [2020-06-18T11:20:54,146][WARN ][logstash.inputs.redis] Redis connection problem {:exception=>#<Redis::CommandError: ERR handle request, command'BLPOP' is not allowed>} # [2020-06-18T11:19:12,920][WARN ][lo...
我正在为生产环境构建日志分析器。我的场景是，我需要在一台将使用 ELK 服务器的 centos7 服务器上设置 elasticsearch、Logstash 和 kibana，另一台是 apache 服务器（远程服务器）。 我已经配置如下 （i）ELK 服务器 - elasticsearch、kibana、logstash 和 nginx 代理 （二）应用服务器（apache 服务器）- 在 apache 服务器上安装 beats （一）ELK服务器配置 Elasticsearch 配置 六、/etc/elasticsearch/elastics...
我偶然发现了一个问题并决定寻求建议，最终找到了有相同业务需求（和问题）的人。 摘要 - 我们最近将我们的一个客户的 SQL 服务从自托管 MySQL 迁移到 Google CloudSQL MySQL 5.7 服务，现在我们正在寻找一种方法来允许我们的客户访问/查看和分析他们自托管 ELK 堆栈中的 MySQL 慢日志。 这以前不是问题，因为我们可以访问 SQL 服务慢速日志文件，并设法在 Elasticsearch 中“跟踪”、导出和索引这些日志。下面显示了之前特定 Elasticsearch MySQL 慢速日志单个文档的简单示例： https://...
我已经在 rhel 上安装了 Kibana，并且正在尝试远程访问http://服务器网址:5601。 我已经安装了 elasticsearch 并且能够远程访问它http://服务器网址:9200 我已经添加 server.host 0.0.0.0 在 kibana.yml 中。 我已确保 nsg 允许其通过，并已将其添加到防火墙。我还安装了 elasticsearch，它正在端口 9200 上运行 - 我对防火墙和 nsg 9200 所做的操作与对 5601 所做的操作完全相同，因此我觉得这是一个配置问题，而不是防火墙问题。 另外，我可以在本...
我希望按照以下步骤在我的应用服务器上安装 ELK此处的说明： 我可以看到您可以通过某些端口访问本地主机上的各种 ELK 服务。我有没有办法为服务添加上下文路径。然后我可以配置我的 apache 以将各种上下文路径指向不同服务的不同端口？ 另外还有一个问题，有没有办法设置它，以便可以从与虚拟机公共 IP 关联的 URL 不同的 URL 公开访问它们？我正在使用 Azure 谢谢 ...
我正在使用 Centos 8 和 Elasticsearch、Logstash 和 Kibana 7.4 版设置 ELK 集群。我的问题是 Logstash 无法接收通过 syslog 发送的事件。将 Logstash 配置为从文件中读取并将其发送到 elasticsearch 可以正常工作。 基础概述，该服务器安装了 3 个系统。 我已禁用 SELinux 以确保它不会对其产生影响。Logstash 配置正在使用端口 5144，我可以看到它运行良好： [root@elk-1 conf.d]# netstat -tulpn | grep 5144 ud...
我正在尝试将 Linux 日志聚合rsyslog到在 EKS 中运行的 Logstash/ElasticSearch 中。 filebeat已在 EKS 中运行，以聚合 Kubernetes 容器日志。 我已配置rsyslog客户端： #/etc/rsyslog.d/50-default.conf *.*;syslog;auth,authpriv.none /var/log/syslog # /etc/rsyslog.d/49-ship-syslog.conf *.*;syslog;auth,authpriv.none action( typ...
我正在使用 elasticsearch 7.1.1 和 logstash 7.1.1。我正在尝试使用 grok 过滤器将日志文件上传到 elastic search。 管道正在启动，但数据尚未上传。 这是我的配置文件。 输入{ 文件 { 路径 => “/home/i-exceed.com/pankaj.kumar/elk/logfiles/bankvisit-dialog-service/bankvisit-dialog-service.10-jun.log” 起始位置 => “开始” ...
我已经阅读了一些关于使用 beats 将数据发送到 elasticsearch 的教程。 我注意到有些教程喜欢使用logstash作为输出，然后输出到 elasticsearch。其他一些教程直接输出到elasticsearch。 在配置中/etc/packetbeat/packetbeat.yml： output.logstash: # The Logstash hosts hosts: ["localhost:5044"] 代替： output.elasticsearch: # Array of hosts to connect ...
我有非常复杂的日志消息，我想将其减少到最重要的字段以节省配额。 日志消息是多行的，其中有很多冗余信息。一个解决方案是编写一些脚本，在将这些日志提供给 Splunk 转发器之前将它们重新格式化为一行，但我更愿意使用现有的解决方案。我考虑过使用 logstash 或 fluentd 之类的东西，但它们似乎并不真正符合我的用例。 有没有人有使用 Splunk 或 ELK 日志解析的经验并且知道有什么好的实用程序可以做到这一点？ 谢谢并致以最诚挚的问候！ ...