Fluentd elasticsearch 压缩

Question

我使用 fluentd ( type tail) 将日志从应用服务器转发到 elasticsearch 服务器。不明白以下内容：

我可以启用压缩日志type tail或其他类型来减少传输流量吗？

Answer 1

如果您只使用<match>其中的一个type elasticsearch，则会通过 http 调用发送数据。

一种替代方法是拥有 2 个 fluentd 实例，一个在您跟踪的服务器上，另一个在一个 elasticsearch 节点上，并通过输入/输出插件相互通信secure-forward。

这些插件允许通过使用 TLS 加密的 TCP 传输并且还会进行压缩。

这样，您就减轻了网络负载，并且由于它们位于同一台机器上，因此接收 fluentd 实例上的数据将被快速推送到 elasticsearch 中。