Kubernetes 中的 Fluent-bit 无法正确输入时间戳数据

Question

我找不到明确的原因，但我认为我找到了解决方案，所以我与你分享。

在 Kibana 中检查日志时，记录了各种时间戳，但是如附图所示，Fluent-bit 直接记录的时间戳存在问题。

然而，考虑到Fluent-bit一旦重新启动Pod，一切都会恢复正常，很难认为我的Config是错误的。

因此，我考虑从我的应用程序日志中解析时间信息，该日志继续输出正常时间，并直接指定时间，而不是使用@timestampFluent-bit 记录的默认值。

我声明了一个解析器，如下所示，使用解析时间信息的正则表达式从日志中的字符串中提取值，然后使用它Time_Key。

[PARSER] 
        Name log_timestamp
        Format regex
        Regex ^(?<log_time>[^\s]+)
        Time_Key log_time
        Time_Format %Y-%m-%dT%H:%M:%S.%LZ
        Time_Keep On

上述解析器是使用过滤管道中的解析器过滤器进行操作的。

    [FILTER]
        Name parser
        Match kube.*
        Key_Name log
        Parser log_timestamp 
        Preserve_Key On
        Reserve_Data On

换句话说，完整配置如下。

config:
  inputs: |
    [INPUT]
        Name tail
        Path /var/log/containers/*.log
        Tag kube.*
        Mem_Buf_Limit 50MB
        Refresh_Interval 10
        multiline.parser python-custom

  outputs: |
    [OUTPUT]
        Name            es
        Match           kube.*
        Host            ${es_domain_name}
        Port            443
        TLS             On
        AWS_Auth        On
        AWS_Region      ${region}
        Retry_Limit     6
        Replace_Dots    On
        Trace_Error     On    

  filters: |
    [FILTER]
        Name kubernetes
        Match kube.*
        Merge_Log On
        Merge_Log_Key       log_processed
        Keep_Log Off
        K8S-Logging.Parser On
        K8S-Logging.Exclude On
    
    [FILTER]
        Name parser
        Match kube.*
        Key_Name log
        Parser log_timestamp 
        Preserve_Key On
        Reserve_Data On

  customParsers: |
    [MULTILINE_PARSER]
        name          python-custom
        type          regex
        flush_timeout 1000
        rule      "start_state"   "/stderr F(.*)/"  "cont"
        rule      "cont"          "/stderr F(.*)/"  "cont"
    
    [PARSER] 
        Name log_timestamp
        Format regex
        Regex ^(?<log_time>[^\s]+)
        Time_Key log_time
        Time_Format %Y-%m-%dT%H:%M:%S.%LZ
        Time_Keep On

Answer 1