☰

Logstash 输出到 Azure blobstorage

tag-icon • tag-icon azure elasticsearch logstash
Logstash 输出到 Azure blobstorage

我目前正在使用 Filebeat 将 IIS 日志导入 Logstash，并且 Logstash 配置为将文档输出到 Elasticsearch。现在我还想将我的 IIS 日志输出到 Azure 存储 (blob) 以进行长期备份，但我找不到方法。

有一个工作Logstash 插件用于输出到 AWS。但我需要使用 Azure Blob 存储。我找不到 Azure Blobstorage 的输出插件弹性输出列表，或者其他任何地方。

有没有办法将文档从 Logstash 输出到 Azure blobstorage？

看起来是个很有价值的功能。我猜它看起来应该像下面这样。

output {
    Azure_storage {
        account => "test"
        key => "SuperSecret"
        container => "Backup_Documents"
        blobName => "nameofblob"
    }
  }

答案1

官方插件中没有，社区维护的插件列表中也没有。可能有人还没有写一个。或者如果他们写了，他们没有分享。这可能是您输出到本地目录并使用计划任务将目录同步到 blob 存储的情况。我们正在将这种方法用于我们一个奇怪的工作流程。

答案2

有一个开源插件： https://github.com/tuffk/Logstash-output-to-Azure-Blob

基本配置：

  output {
       azure {
         storage_account_name => "my-azure-account"    # required
         storage_access_key => "my-super-secret-key"   # required
         container_name => "my-container"              # required
         size_file => 1024*1024*5                      # optional
         time_file => 10                               # optional
         restore => true                               # optional
         temporary_directory => "path/to/directory"    # optional
         prefix => "a_prefix"                          # optional
         upload_queue_size => 2                        # optional
         upload_workers_count => 1                     # optional
         rotation_strategy_val => "size_and_time"      # optional
         tags => []                                    # optional
         encoding => "none"                            # optional
       }
     }

要使插件在您的 Logstash 环境中可用，请运行以下命令：

bin/logstash-plugin install logstash-output-azure

相关内容