我在 Debian 服务器上安装了 Filebeat-7.1，这个 Filebeat 会将数据从这个 Debian 服务器中的文件发送到带有 Logstash 7.6 的服务器，以下是文件配置 Filebeat.yml： #=========================== Filebeat inputs ============================= filebeat.inputs: type: log Change to true to enable this input configuration. enabled: true...
在当前的设置中，我使用 Telegraf 从 syslog 中提取 nginx 日志并将其输出到 influxdb。效果很好。 Telegraf 支持 grok 日志解析。据我所知，它可以被[[inputs.file]]和 调用[[processors.parser]]。 如何配置 telegraf 以[[inputs.syslog]]使用 grok 解析每个传入日志语句的消息部分？ 我尝试了以下配置，但不起作用。我没有收到任何来自 telegraf 的错误或消息，输出也没有任何变化： # [...] Boilerplate omitted for ...
如何使用 grok 模式从 cisco ASA syslog 获取端口。 我尝试了一些方法，但没有效果。我们使用 graylog 来收集日志数据。 例如日志： %ASA-6-301014: Teardown TCP connection 1846898154 for Vodafone:107.23.89.178/443 to Management:192.168.100.244/32790 duration 0:00:02 bytes 6923 TCP FINs 从这个示例日志中，我们需要获取 443 端口。 问候。 ...
我们有两个应用程序实例（相同的应用程序，不同的数据库），我们将它们称为 app1 和 app2。日志采用的路由是： appX 运行 filebeat，它拾取应用程序日志文件并将其标记为 appX，并将每个条目发送到 rabbitmq 集群上的 logstash 实例。然后将其添加到 rabbitmq 中。 消息穿过 rabbitmq 集群，并被另一个 logstash 实例使用，该实例根据标签运行各种过滤器。 同一个logstash实例将结果日志行提交给elasticsearch。 一切都很好。在 app1 和 app2 的情况下，过滤器是 grok...
我的真实模式更复杂，但我已尝试将问题归结为核心问题。有些我不明白。请尝试一下http://grokconstructor.appspot.com/do/match 我正在尝试匹配以下几行： Start-Date: 2017-08-07 06:48:12 End-Date: 2017-08-07 06:48:12 Start-Date: 2017-08-07 12:55:16 End-Date: 2017-08-07 12:56:01 使用附加模式： DATE_EU2 %{YEAR}-%{MONTHNUM}-%{MONTHDAY}[\s]+...
logstash 文档表明您可以使用多行编解码器将 Java 堆栈跟踪日志条目中的多个缩进行折叠为单个事件： https://www.elastic.co/guide/en/logstash/current/plugins-codecs-multiline.html input { syslog { type => syslog port => 8514 codec => multiline { pattern => "^\s" wha...
我正在查看 ELK 堆栈中的一些 syslog 日志文件，并注意到所有 syslog_severity 字段都是“notice”，而我可以在日志文件中验证它们不是“notice”。似乎 Logstash 将 syslog_severity 默认为 notice。每当我去 kibana 搜索时，无论我在 logstash 过滤器配置文件中输入什么，kibana 总是会返回严重性通知。我的 logstash 过滤器配置中有以下内容： filter { if [type] == "syslog" { grok { match => {...
我需要匹配此条目 2015/10/30 23:58:21 pid 22223 [email protected] 192.168.0.1 [p4/2012.2/LINUX26X86_64/536738] 'test-monitor show' 为了匹配这个我写了这个正则表达式 P4_DATE (?>\d\d){1,2}\/(?:0[1-9]|1[0-2])\/(?:(?:0[1-9])|(?:[12][0-9])|(?:3[01])|[1-9]) P4_TIME (?:2[0123]|[01]?[0-9])\:(?:[0-5][0-9...
我确信有一个简单的解决方案，但我刚开始使用 Logstash。我尝试应用的过滤器用于一些防火墙日志，并且我有一个字段，该字段将包含一个或两个用冒号分隔的值。 X16-V523 X16-V523:example.com 我一直使用有两个值的线， %{GREEDYDATA：源}:%{GREEDYDATA：源主机} 我如何使比赛的第二部分成为可选部分？ 克里斯 ...
我尝试使用 HSL 和 Logstash 直接从我们的 F5 格式化日志。 我从网站上直接复制了示例配置，因为它包含了我想要的大部分信息 logstash 示例 我的 F5 现在正在将日志输出到我的 elasticsearch 集群，并使用标签“message:”标记下面的示例日志数据，但是当我尝试应用似乎正确的示例 grok 过滤器时；进入我的 logstash conf 文件，我收到一个 _grokparseerror。 有人看到我的过滤器哪里出了问题吗？ 样本日志 12.123.123.254 [13/Feb/2016:16:04:13 ...
我一直在构建一些 grok 模式来解析 /var/log/secure 日志文件，一切运行正常。我创建了 grok 模式http://grokconstructor.appspot.com/然后测试它们http://grokdebug.herokuapp.com/两个站点都显示模式完全匹配。我使用的是 logstash 2.1.1、elasticsearch 2.1.1 和 kibana 4.3.1，均在 CentOS 7.1 上运行，使用 JAVA openjdk 1.8.0.65-2.b17。 然后，我采用了这些模式，并在 logstash 服务器上使...
我在从我的网络服务器进行日志记录时遇到问题，该网络服务器有一个 elb，然后在 nginx 层前面有一个 varnish 层。 varnish 已正确设置 X-Forwarded-For，并且日志可以正常传输，并记录正确的“client.ip”。 但是，nginx 日志会包含请求中的一整套 IP 列表。默认的 grok 行为似乎将客户端 IP 设置为列表中的最后一个，即 elb 和 varnish 服务器，这会弄乱我的 nginx 日志的 client.ip 字段。正确的客户端 IP 应该是列表中的第一个（或至少是前几个）。 以下是一个例子： 17...
可以看到，该消息不仅仅是消息，还包含日期和时间戳。 。 。 这是 MySQL 日志：/var/log/mysql/error.log 150630 9:01:29 [Warning] Access denied for user 'test1'@'localhost' (using password: YES) 150630 9:03:39 [Warning] Access denied for user 'test3'@'localhost' (using password: YES) 150630 9:07:48 [Warning] Acc...
所以我有一个全新的 logstash 安装，并且我正在尝试部署 logstash 来处理日志。 我正在经历并最终将根据子系统对 logstash 过滤器进行细分，目前我正在解析 osd 日志。 这是我正在使用的示例行： 2015-06-02 16:45:49.515277 7f4968cfe700 0 -- 10.16.64.68:6813/97613 >> 10.16.64.29:6805/35260 pipe(0x25e36500 sd=538 :6813 s=2 pgs=15426 cs=623 l=0 c=0x1586fa20)....
我无法解析以下 nginx 错误日志消息grok 调试器。我感觉我应该用一个愚蠢的技巧，但却不知道它是什么。 2015/03/20 23:35:52 [错误] 8#0：*10241823 测试“/www”存在性失败（2：没有此文件或目录）同时记录请求，客户端：201.45.203.78，服务器：$domain，请求：“GET /ritikapuri_” 以下是我目前的 Grok 模式： (?<timestamp>%{YEAR}[./]%{MONTHNUM}[./]%{MONTHDAY} %{TIME}) \[%{LOGLEVEL:s...