☰

Druid 协调器无法与集群的其余部分通信

tag-icon • tag-icon linux linux-kvm cluster hadoop
Druid 协调器无法与集群的其余部分通信

我正在部署一个包含 Hadoop、Spark 和 Apache Druid 的 5-KVM 集群以进行测试，但我遇到了有关 Druid 的问题。正在运行的集群组织如下：

  • hadoop-master：还托管 Druid 主节点（协调员-霸主（英文）：
  • hadoop-worker1：还托管 Druid 第一个数据节点（中层经理和历史（英文）：
  • hadoop-worker2：还托管 Druid 的第二个数据节点；
  • spark-worker1：还托管 Druid 查询节点（经纪人和路由器）。

我还配置了一个 Zookeeper 集群，分布在所有这些机器上以及spark-worker2。它正常运行，因为像命令这样的命令echo conf | nc localhost 2181会通知所有主机作为参与者（领导者当前是节点 3）。我把这common.runtime.properties行放在了所有上面：

druid.zk.service.host=hadoop-master,hadoop-worker1,hadoop-worker2,spark-worker1,spark-worker2
druid.zk.paths.base=/var/lib/zookeeper

Druid 的所有节点均启动成功，没有错误，但hadoop-master协调器上不断记录以下几行：

2023-06-21T22:46:50,012 INFO [Coordinator-Exec--0] org.apache.druid.server.coordinator.duty.LogUsedSegments - Found [0] used segments.
2023-06-21T22:46:50,012 INFO [Coordinator-Exec--0] org.apache.druid.server.coordinator.DruidCoordinator - Using round-robin segment assignment.
2023-06-21T22:46:50,012 WARN [Coordinator-Exec--0] org.apache.druid.server.coordinator.duty.RunRules - Uh... I have no servers. Not assigning anything...
2023-06-21T22:46:50,012 INFO [Coordinator-Exec--0] org.apache.druid.server.coordinator.duty.MarkAsUnusedOvershadowedSegments - Skipping MarkAsUnused as there are no overshadowed segments.
2023-06-21T22:46:50,012 INFO [Coordinator-Exec--0] org.apache.druid.server.coordinator.duty.EmitClusterStatsAndMetrics - Load Queues:
2023-06-21T22:46:53,445 INFO [org.apache.druid.metadata.SqlSegmentsMetadataManager-Exec--0] org.apache.druid.metadata.SqlSegmentsMetadataManager - No segments found in the database!

事实上，Druid 控制台不会显示协调器：

图片：Druid 控制台上的服务

我陷入困境。我该怎么办？

答案1

我刚刚意识到我需要在集群的所有节点上添加元数据数据库配置（在 上conf/druid/cluster/_common/common_runtime.properties）。就我而言，我使用 MySQL 作为元数据存储。

相关内容