☰

Elasticsearch 出现“mapper_parsing_exception”错误，无法解析 %{COMBINEDAPACHELOG} 中的

tag-icon • tag-icon logging httpd elasticsearch logstash filter
Elasticsearch 出现“mapper_parsing_exception”错误，无法解析 %{COMBINEDAPACHELOG} 中的

我已将 Logstash 配置为过滤httpd_access_log消息并理解与 相关的字段COMBINEDAPACHELOG。但是，我收到如下错误：

[2017-02-10T15:37:39,361][WARN ][logstash.outputs.elasticsearch] Failed action. {:status=>400, :action=>["index", {:_id=>nil, :_index=>"filebeats", :_type=>"logs", :_routing=>nil}, 2017-02-10T23:37:34.187Z perf-wuivcx02.hq.mycompany.com cdn.mycompany.com 192.168.222.60 - - [10/Feb/2017:15:37:30 -0800] "GET /client/asd-client-main.js HTTP/1.1" 200 221430 "http://perf.companysite.com/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36"], :response=>{"index"=>{"_index"=>"filebeats", "_type"=>"logs", "_id"=>"AVoqY6qkpAiTDgWeyMHJ", "status"=>400, "error"=>{"type"=>"mapper_parsing_exception", "reason"=>"failed to parse [timestamp]", "caused_by"=>{"type"=>"number_format_exception", "reason"=>"For input string: \"10/Feb/2017:15:37:30 -0800\""}}}}}

这是我的 Logstash 过滤器配置：

filter {
  if [type] == "json" {
    json {
      source => "message"
    }
  }
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      add_field => [ "received_from", "%{host}" ]
    }
    date {
      match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
    }
  }
  if [type] == "httpd_access_log" {
    grok {
      match => { "message" => "%{URIHOST} %{COMBINEDAPACHELOG}" }
    }
    date {
      match => [ "timestamp", "MMM dd yyyy HH:mm:ss", "MMM  d yyyy HH:mm:ss", "ISO8601" ]
    }
  }
}

该date函数可以很好地处理syslog类型消息，但不能处理httpd_access_log消息。有人知道为什么时间戳会导致httpd_access_log文件中的行在 Elasticsearch 中无法索引吗？

提前感谢您提供的任何帮助或建议！

答案1

这并非 100% 是过滤器问题，输出只是症状。以下是错误消息中向您展示此问题的关键部分。

[2017-02-10T15:37:39,361][WARN ][logstash.outputs.elasticsearch]

这告诉您失败的插件是 elasticsearch 输出。

Failed action. {:status=>400, :action=>["index",

（为清晰起见，已剪辑）这是尝试index对 ElasticSearch 执行操作。

"error"=>
  {"type"=>"mapper_parsing_exception",
   "reason"=>"failed to parse [timestamp]",
   "caused_by"=>
     {"type"=>"number_format_exception",
      "reason"=>"For input string: \"10/Feb/2017:15:37:30 -0800\""}
     }
   }

这里发生的情况是timestamp索引中的字段不接受您尝试输入的字符串。事实是number_format_exceptionElasticSearch 需要非字符串作为输入。

Logstash 正在尝试将字符串写入字段timestamp。这表明该timestamp字段实际上尚未通过date {}过滤器运行。这表明if [type] == "httpd_access_log" {没有捕获所有可能的实例timestamp，或者日期过滤器的模式没有捕获此情况。错误字符串已被清理，但我不确定您的来源是否真的发出了如下时间戳：

10/Feb/2017:15:37:30 -0800

如果它确实以那种方式进入管道，请查明原因。

相关内容