Elasticsearch 索引比它索引的日志的实际大小大得多吗?

Elasticsearch 索引比它索引的日志的实际大小大得多吗?

我注意到 elasticsearch 一夜之间消耗了超过 30GB 的磁盘空间。相比之下,我想要索引的所有日志的总大小只有 5GB...嗯,实际上甚至没有那么多,可能更像是 2.5-3GB。这有什么原因吗?有没有办法重新配置它?我正在运行 ELK 堆栈。

答案1

当您将日志存储在 ES 中时,总会有一些开销,因为 ES 会将日志中的每一行存储为带有附加信息的文档(json 格式)。

计算日志行数并将其与索引中的文档数进行比较,以查明是否存在循环或数据重复。

向我们展示您的 elasticsearch.yml 以获取更多信息,并提供您要发送至 ES 的日志类型的信息。

答案2

您还可以更改映射(或生成映射的模板)以删除 _source 字段。

http://www.elastic.co/guide/en/elasticsearch/reference/master/mapping-source-field.html

此外,新版本的空间增加更加高效。

...哦,您正在查看总大小吗(包括所有副本)

相关内容