logstash
LogStash 如何处理 Redis 输入重启？
我已经Redis v2.4.5配置为LogStash v1.2.1 重新启动时Redis，LogStash继续保持开放的连接（根据netstat），但不再从列表中读取消息。 重新启动LogStash将解决此问题，但这显然不是生产场景中可接受的解决方案。 这是预期的行为吗？我期望LogStash它能够自动恢复。 ...
logstash
logstash
kibana 3 查询中的正斜杠
我正在尝试添加一个与以斜杠结尾的请求匹配的查询，如下所示： n.n.n.n - - [16/Oct/2013:16:40:41 +0100] "GET / HTTP/1.1" 200 25058 "-" "Mozilla/5.0 (iPad; CPU OS 7_0_2 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A501 Safari/9537.53" 我正在使用 Lucene 查询类型。 如果我的查询设置为*，我就会看到该事件。 如果我将...
logstash
转发 rsyslog 失败
我有一个集中式 rsyslog 服务器 A，它通过 TCP 从服务器 X、Y、Z 接收大量日志。然后它将文件存储在磁盘上，但也将它们转发到 logstash 服务器 B（在另一台机器上）。要中继到 logstash 服务器 BI，请使用如下 TCP： $template logstash_json,"{\"@timestamp\":\"%timestamp:::date-rfc3339,jsonf:@timestamp%\",\"@source_host\":\"%source:::jsonf:@source_host%\",\"@source\":\"s...
logstash
Logstash 日期年份错误？
我正在使用以下配置将 Nginx 日志解析到 logstash： input { stdin { type => "nginx"}} filter { grok { type => nginx pattern => "%{COMBINEDAPACHELOG}" } date { type => nginx match => [ "timestamp", "dd/MMM/YYYY:HH:mm:...
logstash
使用 nxlog 将 IIS 日志记录到 Logstash
我正在尝试将 IIS 日志中的日期+时间字段合并到 EventTime 字段中，以便进行 logstash 消化。这是我的 nxlog.conf 文件： <Input iis1> #drop comment lines, join the date+time fields into an EventTime field, convert to json Module im_file File 'C:\inetpub\logs\LogFiles\W3SVC2\u_ex*.log' ReadFromLast T...
logstash
保护 logstash 和 elasticsearch 的安全
我正在考虑在我的生产服务器上运行 logstash（简单安装）。http://logstash.net/docs/1.1.13/tutorials/getting-started-simple) 并设置 kibana 来访问日志。 我担心的是：如何保护我的生产日志（尤其是由 logstash 运行的 elasticsearch），并限制对安全区域或某些 ips 的访问？ 感谢您的帮助 ...
logstash
Logstash 发货商和服务器在同一个盒子上
我正在尝试设置一个中央 logstash 配置。但是我希望通过 syslog-ng 而不是第三方发送程序发送我的日志。这意味着我的 logstash 服务器通过 syslog-ng 接受来自代理的所有日志。 然后我需要安装一个 logstash 进程，它将从 /var/log/syslog-clients/* 读取并抓取发送到中央日志服务器的所有日志文件。然后这些日志将被发送到同一台虚拟机上的 redis。 理论上，我还需要配置第二个 logstash 进程，它将从 redis 读取并开始索引日志并将其发送到 elasticsearch。 我的问题： ...
logstash
如何使用输入作为“文件”将 IP 地址发送到 logstash？
我正在使用客户端上的另一个 logstash 作为发送器将一些日志发送到 logstash 中央服务器。输入类型为“文件”。服务器上可以正常接收消息，但它没有反映客户端的 IP 地址。它在字段“@source_host”中发送主机名。我可以做些什么来将 IP 作为字段？也许是一个过滤器？ 客户端配置： input { file { format => "plain" path => "/var/log/app/test1.txt" type => "start" } } output { redis...
logstash
logstash-output-mongodb 插件 v 3.1.7 ArgumentError
我最近从 mongodb 3.0 迁移到 mongodb 6.0，并且 logstash 插件 3.1.5 不再起作用，我将插件升级到 3.1.7，但在 logstash 日志中不断出现此错误： n] MONGODB | Error checking 127.0.0.1:27017: ArgumentError: wrong number of arguments (given 2, expected 1) n] MONGODB | Failed to handshake with 127.0.0.1:27017: ArgumentError: wrong ...
logstash
LogStash 和解析 OPNSenser 日志
我的日志如下： <134>May 24 14:39:32 edge.internal filterlog[2535]: 78,,,ffe6d10d1f27a42fc0edc3abb3a6d333,ovpnc1,match,pass,out,4,0x0,,63,61951,0,DF,6,tcp,60,10.8.0.2,20.44.17.5,44575,443,0,S,1497081603,,64240,,mss;sackOK;TS;nop;wscale LogStash 正在正确收集日志，但是由于某种原因，模式不起作用。 它们应该在 OPNSEN...
logstash
证书仅在客户端有效，我该如何调试这样的事情？（graylog/filebeat/JVM 密钥库）
我使用完全相同的方法创建了 2 个密钥证书对。但是，当我尝试在 graylog 服务器上设置到远程 filebeat 节点的 TLS 时，尝试使用常规证书连接以验证 graylog 服务器的真实性时，它无法成功连接。 然后，如果禁用服务器端 TLS 但启用客户端身份验证，它奇迹般地工作并且我有一个 TLS 连接。我不知道如何调试它？我已经检查过文件是否可由用户读取、是否已安装到容器中以及路径是否正确。我还将 filebeat 身份验证完全关闭，只检查有效性而不检查域，以防域名存在拼写问题或其他问题。 我尝试过 wireshark，确实有一些 TLS 活动正在...
logstash
rsyslog 不会将日志转发到 elasticsearch
我正在尝试配置 rsyslog 将日志发送到 logstash 然后将其转发到 elasticsearch。 /etc/rsyslog.d/60-output.conf我创建了一个包含以下内容的配置文件： *.* @localhost:10514;json-template /etc/rsyslog.d/01-json-template.conf以及包含以下内容的模板文件： template(name="json-template" type="list") { constant(value="{") constant(value=...
logstash
logstash 可以“拉取”数据吗？
我有两台服务器。服务器 A 运行 Elasticsearch 和 Logstash。服务器 B 运行 filebeat，也是包含我尝试分析的所有日志的服务器。 服务器 A 位于防火墙后面，它可以访问互联网，但不可能允许任何入站流量。 服务器 B 位于 AWS 中，并且在我的控制之下，负责入站和出站流量。 有什么方法可以将数据从服务器 B 传输到服务器 A 的 logstash 吗？Filebeat 通常需要能够将数据推送到 logstash，但在我的场景中这是不可能的。 ...
logstash
如何显示在另一个 VM 上运行的 ELK 堆栈上的 VM 的日志？
-ELK 正在本地主机上运行并成功获取日志。 - 两个虚拟机都在同一台服务器上。 - 两个虚拟机上的操作系统都是 Ubuntu 18-04 LTS。 ...
logstash
/usr/local/elk/logstash/config/logstash_es.conf
我之前使用elk+redis+filebeat搭建了日志平台，现在将redis替换成codis之后，logstash报错： # [2020-06-18T11:20:54,146][WARN ][logstash.inputs.redis] Redis connection problem {:exception=>#<Redis::CommandError: ERR handle request, command'BLPOP' is not allowed>} # [2020-06-18T11:19:12,920][WARN ][lo...