可以连接kafka,但是不能消费

可以连接kafka,但是不能消费

我在 AWS VPC 中使用 kubernetes 设置了一个 3 个代理的 kafka 集群,我正在使用https://github.com/Yolean/kubernetes-kafka为此进行回购。

我遇到了一个奇怪的问题,无法进行内部连接,无法正常生成和使用消息。当我进行外部连接时,通过使用 kafkacat 进行大量调试,我可以看到与代理的初始连接有效,元数据广告侦听器是正确的,并且其他代理甚至会将其状态更改为 UP。

然而,当我尝试通过 kafkacat 从外部使用某个主题时,突然无法解析正确的地址。

代理正在外部监听别名为 AWS LoadBalancer 的 CNAME。这是在高可用性 VPC 上,因此即使 pod 只使用一个 IP,负载均衡器也有 3 个 IP?(不是网络工程师或 DevOps 人员,只是一名软件工程专业的学生……)。

这是一个确切的示例(在我的集群上创建,更改了域名):

user@comp:~/kubernetes-kafka$ kafkacat -L -b broker0.my-domain:9094 -t test-kafkacat
Metadata for test-kafkacat (from broker -1: broker0.my-domain:9094/bootstrap):
 3 brokers:
  broker 0 at broker0.my-domain:9094
  broker 2 at broker2.my-domain:9094
  broker 1 at broker1.my-domain:9094
 1 topics:
  topic "test-kafkacat" with 3 partitions:
    partition 0, leader 0, replicas: 0,1, isrs: 0,1
    partition 2, leader 2, replicas: 2,0, isrs: 2,0
    partition 1, leader 1, replicas: 1,2, isrs: 1,2
user@comp:~/kubernetes-kafka$ kafkacat -C -b broker0.my-domain:9094 -t test-kafkacat
% ERROR: Local: Host resolution failure: broker2.my-domain:9094/2: Failed to resolve 'broker2.my-domain:9094': Name or service not known
% ERROR: Local: Host resolution failure: broker0.my-domain:9094/0: Failed to resolve 'broker0.my-domain:9094': Name or service not known
% ERROR: Local: Host resolution failure: broker1.my-domain:9094/1: Failed to resolve 'broker1.my-domain:9094': Name or service not known

以下是我使用内部地址来使用来自同一个集群的消息的示例:

user@comp:~/kubernetes-kafkakubectl --namespace test-kafka exec kafkacat-bk9rt -- kafkacat -C -b bootstrap.kafka:9092 -t test-kafkacat
Defaulting container name to producer.
Use 'kubectl describe pod/kafkacat-bk9rt -n test-kafka' to see all of the containers in this pod.
26:18,943654404+00:00 ---
Test kafkacat-bk9rt@2019-01-16T13:26:34,574792563+00:00
Test kafkacat-bk9rt@2019-01-16T13:26:44,537682179+00:00
Test kafkacat-bk9rt@2019-01-16T13:26:54,534127421+00:00
Test kafkacat-bk9rt@2019-01-16T13:27:04,532323895+00:00
Test kafkacat-bk9rt@2019-01-16T13:27:14,534851898+00:00

相关内容