我们有包含 3 台虚拟机的 kafka 集群。每台 kafka 机器都使用 sdb 磁盘（VMDK 磁盘）来存储数据 在所有机器上我们都看到了以下内核消息 [1123783.849575] EXT4-fs (sdb): error count since last fsck: 9 [1123783.849582] EXT4-fs (sdb): initial error at time 1595958527: ext4_writepages:2414 [1123783.849586] EXT4-fs (sdb): last error at time 161...
我正在使用 Apache Kafka 3.7.0docker 镜像，如下所述这里，并进行了一些细微的调整： docker run --network=internal --name my-kafka apache/kafka:3.7.0 我的意图是仅在内部网络内访问它，并通过其主机名访问它my-kafka。就此命令而言，它似乎运行良好，并且根据日志开箱即用： INFO [raft-expiration-reaper]: Starting (kafka.raft.TimingWheelExpirationService$ExpiredOperationReap...
根据此kadek.com 文章， Kafka 分区限制 Kafka 集群中的分区数量没有硬性限制。但这里有一些一般规则： 每个代理最多有 4000 个分区（总共；分布在许多主题上） 每个 Kafka 集群最多 200,000 个分区（总计；分布在多个主题上） 每个 Kafka 集群最多有 50 个代理 如果出现问题，这可以减少停机时间。但请注意：突破这些限制不应该成为您的目标。在许多“中等数据”应用程序中，您不需要任何这些。 指导原则是每个集群最多有 50 个代理。 如果应用程序由于某种原因无法对其数据进行水平分片，这是否意味着基于单个 Kafka ...
我们阅读最新的 Apache 文档https://kafka.apache.org/35/documentation.html 有趣的是，文档中没有提到使用 NFS 存储的选项，如 Netapp 或 ONTAP 一些背景知识 - 我们支持本地拥有 34 台机器的 Kafka 集群，Kafka 使用内部 SAS 磁盘 kafka 代理设置（机器规格和磁盘）： 34 个 kafka 代理，Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz，16 核。 每个 Broker 都有 sdb 设备挂载到 /var/kafka，大小为 44...
__cluster_metadata-0 我的问题涉及Kraft 模式下控制器主题的推荐磁盘存储。 我们有两个选择： __cluster_metadata-0在 OS 卷上找到主题/var/lib/metadata （作为 OS 磁盘的一部分）。 例子： ls -ltr /var/lib/metadata drwxr-xr-x 2 kafka kafka 4096 Jan 10 14:35 __cluster_metadata-0 或者 设置sdc与XFS文件系统一样的专用磁盘，它将仅为控制器进程提供服务__cluster_metadata-0...
我尝试使用 sasl_ssl 制作 kafka。我进行了一些配置，但 Kafka 服务器在某些问题上失败了，我不知道如何解决。我使用 Kafka 2.13-3.6.0。 我的 zookeeper.properties quorum.auth.enableSasl=true quorum.auth.learnerRequireSasl=true quorum.auth.serverRequireSasl=true quorum.auth.learner.loginContext=QuorumLearner quorum.auth.server.logi...
我尝试使用 SASL_SSL 运行 Kafka。当我运行 Kafka 服务器时，它在服务器日志中记录了奇怪的错误： [2023-12-19 01:57:09,297] INFO [Controller id=0, targetBrokerId=0] Client requested connection close from node 0 (org.apache.kafka.clients.NetworkClient) [2023-12-19 01:57:09,452] INFO [SocketServer listenerType=ZK_BROKER, n...
%E2%80%9D.png)
我已将 Kafka 作为有状态集部署在 k8 上，服务类型为 ClusterIP。它已启动并正在运行。 但是，当我登录 Kafka 代理（使用 kubectl exec -it pod_name -- bash）并转到 Kafka bin 路径并尝试使用 bin 中的一个脚本获取有关其状态的一些信息时，却无法获取信息 因此它总是抛出这个错误，即； Error: Exception thrown by the agent : java.rmi.server.ExportException: Port already in use: 9999; nested e...
我们的 Kafka 生产集群包括23台经纪机，每个经纪人包括三十五JBOD 磁盘 代理版本为 - apache 2.7版本，集群包含5个zookeeper服务器 我们/var/log/kafka/server.log看到很多类似下面的警告 Log directory /var/kafka/broker_logsXX is offline 或者以下是一些例子server.log [2023-09-22 02:10:34,583] WARN [ReplicaManager broker=1012] Unable to describe replica dirs...
我在使用 omkafka 模块设置 Rsyslog 输出到 Kafka 时遇到了麻烦。我有一个在生产环境中运行的强大的 Kafka 集群。在当前工作流程中，Rsyslog 在 UDP:514 上接收事件并将其写入文件。Filebeat 读取多个文件、进行预处理并发送到 Kafka 中的不同主题。此过程按预期工作，但我想简化并让 Rsyslog 直接发送到 Kafka。我尝试在现有环境中的测试设备上进行几次尝试，但没有成功。为了简化，我创建了一个全新的 VM，其中默认安装了 OS、Kafka 和 Rsyslog，并且无法在该 VM 上发送 Rsyslog -&...
我有 Kafka 主题“purchase2”，其中包含 2 个分区和 Kafka REST 代理供消费者使用（来自本教程）。当我运行这个主题的第一个消费者时，一切正常： curl -X POST -H "Content-Type: application/vnd.kafka.v2+json" --data '{"name": "ci1", "format": "json", "auto.offset.reset": "earliest"}' http://localhost:8082/consumers/cg1 curl ...
我在这个问题上没有太多经验，也许做错了什么。 当我停止 Kafka 代理并在暂停后再次启动它时，就会出现问题。代理启动几秒钟后，我的生产者发出错误：“主题不存在”。由于此错误，所有离线缓冲消息都会丢失。不久后，错误消失，并生成连续消息。 如果我将“auto.create.topics.enable”服务器属性更改为“true”，则代理重启后仍会继续出现“主题不存在”错误，但缓冲消息会按预期生成。 我认为，如果允许自动创建主题，则“主题不存在”错误将被视为暂时的，生产者将重复发送消息，直到错误消失。否则不会进行重复，缓冲的消息将丢失。 我可以做些什么来使用“a...
我们正在准备巨大的 Kafka Kraft 集群 安装在 35 台物理 Linux 机器和 3 台 VM Linux 机器上的 3 个专用控制器上 每个代理机器包括： 512G RAM memory 64 CORE's 关于代理机器，每台机器包含一个磁盘（RAID10），大小为 15T，因此总代理存储约为 525 TB 关于应该用作控制器的 3 台 VM 机器，当然，与代理机器相比，机器规格不同且非常小 每个 VM 控制器机器包括： 32G RAM Memory 12 CORE's 但是我们不确定是否需要在控制器机器上专用磁盘，或者我们可以使用操作系统磁...
我将日志从 Logstash 作为生产者发送到 Kafka，然后从 Graylog 消费它们。这按预期工作。 但是，当停止 Graylog 输入并发送 LeaveGroup 请求时，消费者不会取消注册，即使通过 删除该组bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --delete --group graylog2，Graylog 仍会继续使用（并且能够这样做），即使该组graylog2不再存在。 这是预期的行为吗？在这种情况下，注销消费者的正确方法是什么？ ...
Kafka 生产集群中的一个重要部分是页面缓存 这里很好地解释了什么是页面缓存 PageCache 是一种典型的读写缓存，操作系统利用空闲的物理内存来缓存文件，这个缓存就叫 PageCache。当应用程序写文件时，操作系统先把数据写入 PageCache，当数据成功写入 PageCache 后，对于用户代码来说写入就完成了。 然后操作系统异步地将数据更新到磁盘文件中。当应用程序在读取文件时，操作系统会尝试从PageCache中查找数据，如果找到，则直接返回数据，如果找不到，则触发缺页中断，然后操作系统将数据从磁盘文件读取到PageCache中，再将数据返回给...