我正在使用 Flume flume-ng-1.5.0 (带有 CDH 5.4) 从许多服务器收集日志并接收器到 HDFS 以下是我的配置： #Define Source , Sinks, Channel collector.sources = avro collector.sinks = HadoopOut collector.channels = fileChannel # Define Scribe Interface collector.sources.avro.type = avro collector.sources.avro.bind = ...
设置 我设置了一个简单的 Nginx 服务器，它以 JSON 格式记录日志，然后使用 Apache Flume 将其传输到 S3 存储桶。Nginx 服务器所做的就是使用网络信标跟踪像素进行响应并写入日志文件。到目前为止一切都很顺利。 问题 但是，如果能在管道的这个级别处理其他几个处理步骤就更好了： 将查询字符串参数转换为事件记录中的实际 JSON 设置 UUID cookie 以进行跟踪 增加本地数据库中的某些计数器（最终所有数据都将通过 Map/Reduce 进行处理） 看来我需要一个自定义 Flume 接收器来转换查询字符串参数，以及一个...
我有一大堆日志文件需要从中提取数据。是否可以使用 Flume 读取这些文件并将其转储到 HDFS（Cassandra 或其他数据源）中，然后我可以进行查询？ 文档似乎表明这都是基于实时事件的日志处理。我想知道我是否遗漏了一些明显的过程，只是让 flume 读取并处理目录中的静态日志文件。 ...
我正在进行一个新项目， 我目前正在决定 flume 和 scribe 用于消息传递系统...（最有可能发送到日志或 hadoop） 我永远不会丢失任何消息。您认为哪个更好？从配置/可靠性/管理角度来说。 如果你已经使用/管理过这两者，那么回答我的问题也相当容易。:D 干杯 ...