☰

haproxy 原始日志文件到 csv 转换器

tag-icon • tag-icon haproxy
haproxy 原始日志文件到 csv 转换器

我有一些 haproxy 原始日志文件，其中每行如下所示：

Feb  6 12:14:14 localhost \
      haproxy[14389]: 10.0.1.2:33317 [06/Feb/2009:12:14:14.655] http-in \
      static/srv1 10/0/30/69/109 200 2750 - - ---- 1/1/1/1/0 0/0 {1wt.eu} \
      {} "GET /index.html HTTP/1.1"

问题：如何将 haproxy 原始日志文件转换为 CSV？

答案1

我不知道有什么现成的工具。但你可以用这个来完成工作logstash grok 正则表达式，转换为您选择的语言的正则表达式并将对象吐出为 csv。

答案2

我最近在工作中遇到了类似的问题。我发现这些非常有帮助：

http://grokconstructor.appspot.com/do/match#result

https://grokdebug.herokuapp.com/

我最终得到了如下的通用图案线：

pattern => "%{IP:client_ip}:%{INT:client_port} \[%{HAPROXYDATE:accept_date}\] %{NOTSPACE:frontend_name} %{NOTSPACE:backend_name}/%{NOTSPACE:server_name} %{INT:time_request}/%{INT:time_queue}/%{INT:time_backend_connect}/%{INT:time_backend_response}/%{NOTSPACE:time_duration} %{INT:http_status_code} %{NOTSPACE:bytes_read} %{DATA:captured_request_cookie} %{DATA:captured_response_cookie} %{NOTSPACE:termination_state} %{INT:actconn}/%{INT:feconn}/%{INT:beconn}/%{INT:srvconn}/%{NOTSPACE:retries} %{INT:srv_queue}/%{INT:backend_queue} (\{%{HAPROXYCAPTUREDREQUESTHEADERS}\})?( )?(\{%{HAPROXYCAPTUREDRESPONSEHEADERS}\})?( )?\"(<BADREQ>|(%{WORD:http_verb} (%{URIPROTO:http_proto}://)?(?:%{USER:http_user}(?::[^@]*)?@)?(?:%{URIHOST:http_host})?(?:%{URIPATHPARAM:http_request})?( HTTP/%{NUMBER:http_version})?))?\""

但它需要option httplog添加您想要获取指标的每个前端。

相关内容