zookeeper

Apache Kafka Kraft 最佳实践以及元数据主题的首选磁盘存储是什么
zookeeper

Apache Kafka Kraft 最佳实践以及元数据主题的首选磁盘存储是什么

__cluster_metadata-0 我的问题涉及Kraft 模式下控制器主题的推荐磁盘存储。 我们有两个选择: __cluster_metadata-0在 OS 卷上找到主题/var/lib/metadata (作为 OS 磁盘的一部分)。 例子: ls -ltr /var/lib/metadata drwxr-xr-x 2 kafka kafka 4096 Jan 10 14:35 __cluster_metadata-0 或者 设置sdc与XFS文件系统一样的专用磁盘,它将仅为控制器进程提供服务__cluster_metadata-0...

Admin

ZooKeeper 错误;本地配置无法识别的主机名
zookeeper

ZooKeeper 错误;本地配置无法识别的主机名

我正在使用 Kylin 4+,并希望使用 Windows 并在本地运行它(不使用 Hadoop)。我按照他们网站上的这个教程操作,其中指出必须将 zookeeper 配置设置为本地,如下所示: kylin.env.zookeeper-is-local=true 假设 Kylin 不会读取任何其他参数(如连接字符串)进行连接。但是当我运行 Kylin 时,我收到以下错误: Caused by: java.net.UnknownHostException: sandbox.hortonworks.com 在模型选项卡中从 csv 加载表。当我从 Web UI...

Admin

如何在 Zookeeper 3.8 上启用 TLSv1.3
zookeeper

如何在 Zookeeper 3.8 上启用 TLSv1.3

我已在 zoo.cfg 中设置了以下属性以在 zookeeper 3.8.0 上启用 TLSv1.3,但在日志中我看到 zookeeper 已连接到默认版本 TLSv1.2 上的其他 zookeeper 节点。我想知道如何在 zookeeper 3.8.0 上启用 TLSv1.3 zookeeper.ssl.协议=TLSv1.3 zookeeper.ssl.quorum.协议=TLSv1.3 尝试在 zoo.cfg 文件中设置 TLSv1.3 协议,并期望 ZK 节点在 TLSv1.3 上进行通信 ...

Admin

我可以将 Zookeeper 3.7.1 与 Solr 7.7.3 一起使用吗?
zookeeper

我可以将 Zookeeper 3.7.1 与 Solr 7.7.3 一起使用吗?

每个版本的 Solr 都附带一个版本的 Zookeeper。Solr 的文档说,如果升级 Solr,则应该升级 Zookeeper,但是您可以将 Zookeeper 升级到 Solr 附带的更高版本吗?没有升级 Solr?我查看的具体版本是让 Solr 7.7.3 使用外部 Zookeeper 3.7.1,而不是它附带的 ZK 3.4,因为 3.4 是 EOL,而 3.7 受支持。我在 Solr 文档中搜索了很长时间,但找不到答案。 ...

Admin

在生产中运行单个 Zookeeper 实例有哪些风险?
zookeeper

在生产中运行单个 Zookeeper 实例有哪些风险?

我正在考虑使用 Zookeeper 来管理单个应用服务器上的多个服务的共享配置。使用量非常低,主要是读取。我的生产系统使用 2 个虚拟机:一个应用服务器和一个数据库服务器。 Zookeeper 文档建议,在生产中,您需要至少 3 个实例的组合。 我有两个明显的选择: 在两台虚拟机中的一台上安装两个 Zookeeper 实例,在另一台虚拟机上安装一个。 仅使用一个 Zookeeper 实例。 如果我只使用一个实例,并且 Zookeeper 发生故障时我可以忍受一定的停机时间(我希望这种情况很少发生),那么只使用一个实例是否存在严重风险?维护服务器时,无论如...

Admin

zookeeper ssl 警报“警报坏证书”
zookeeper

zookeeper ssl 警报“警报坏证书”

我正在使用 Kafka(版本 2.3.0)和 Zookeeper(版本 3.5.5-3)-稳定版本是 3.6.3。 当我使用此命令测试我的 Zookeeper 的 SSL 时: openssl s_client -showcerts -connect 127.0.0.1:2280 -CAfile /certs/ca-chain.cert.pem 我收到了这个错误: 140371409225024:error:14094412:SSL routines:ssl3_read_bytes:sslv3 alert bad certificate:../ssl/rec...

Admin

Zookeeper 集群领导者报告的追随者数量不正确
zookeeper

Zookeeper 集群领导者报告的追随者数量不正确

我在 Kubernetes 中运行一个由 3 个实例组成的 zookeeper 集成。该集成运行基本正常,并成功为其支持的 Solr 集群提供服务。但有一件事似乎不对劲,结果破坏了我应用程序另一部分(Sitecore)的一些健康检查。 由于某种原因,Solr -> 云 -> ZK 状态页面 -AND-主叫领导者本身的命令报告追随者的数量偶尔变化且不正确: root@zk-1:/zookeeper-3.4.14# echo mntr | nc localhost 2181 zk_version 3.4.14-4c25d480e66aad...

Admin

如何进一步分析可能发生的泄漏中的 RAM 使用情况?
zookeeper

如何进一步分析可能发生的泄漏中的 RAM 使用情况?

我们在虚拟化环境中(在 Windows 2019 HyperV 中)有一个 3 盒集群 Kafka+Zookeeper。 在机器的配置中动态内存被禁用,每个机器有 4G RAM(我知道对于这种集群来说这个数量很少,但是使用率很低) 来宾 SO 是 Debian stretch 9.3,内核 4.9.0-5-amd64 Kafka 是 2.11-2.3.0 Zookeeper 是 3.4.9 一旦启动集群或者重新启动节点,RAM 使用率就会恢复正常: # free -m total used free...

Admin

如何为ECS容器设置固定私有IP?
zookeeper

如何为ECS容器设置固定私有IP?

我有一个名为的任务定义kafka-zookeeper,其中有一个 Apache Kafka 代理和一个 Zookeeper 节点。这些容器需要相互通信(这很容易),并且需要与其他 kafka-zookeeper 任务中的 kafka 和 zookeeper 容器进行通信,但我不知道该怎么做。 基本上,我需要这个: ------------------------ ___________________ | ___________________ | ___________________ | Tas...

Admin

无法使用 zookeeper 启动 kafka(kafka.common.InconsistentClusterIdException)
zookeeper

无法使用 zookeeper 启动 kafka(kafka.common.InconsistentClusterIdException)

以下是我解决此问题所采取的步骤: 启动 ZooKeeper 启动 Kafka:.\bin\windows\kafka-server-start.bat .\config\server.properties 另请注意,我的操作系统是 Windows 在第二步时发生错误: 错误 KafkaServer 启动时发生致命错误。准备关闭 (kafka.server.KafkaServer) kafka.common.InconsistentClusterIdException:集群 ID Reu8ClK3TTywPiNLIQIm1w 与 meta.p...

Admin

zookeeper 服务器无法将数据库加载到磁盘上
zookeeper

zookeeper 服务器无法将数据库加载到磁盘上

我们有 3 个节点的 kafka 集群,每个 kafka 都包含 zookeeper 服务器和架构注册表 我们在其中一个 zookeeper 服务器上收到以下错误 [2019-11-12 07:44:20,719] ERROR Unable to load database on disk (org.apache.zookeeper.server.quorum.QuorumPeer) java.io.IOException: Unreasonable length = 198238896 at org.apache.jute...

Admin

hadoop + 我们可以在 kafka 主机上安装 zookeeper 服务器吗
zookeeper

hadoop + 我们可以在 kafka 主机上安装 zookeeper 服务器吗

我们希望将 zookeeper 服务器专门用于 kafka 机器,因此每台 kafka 机器都包含 zookeeper 服务器,并且 zookeeper 服务器将仅为 kafka 主机提供服务,而不为其他应用程序提供服务 那样的话可以吗? ...

Admin

zookeeper 服务器必须使用SSD盘吗?
zookeeper

zookeeper 服务器必须使用SSD盘吗?

我们要安装 kafka 集群和 3 个 zookeeper 服务器 kafka 应该使用 zookeeper 服务器,以便将元数据保存在 zookeeper 服务器上 ZK 数据和日志文件应位于与其他 I/O 活动争用最少的磁盘上。理想情况下,ZK 数据和 ZK 事务日志文件应位于不同的磁盘上,这样它们就不会争用 IO 资源。 注意,仅有分区是不够的,它们必须是不同的磁盘才能确保性能。 那么 zookeeper 服务器必须使用 SSD 磁盘吗? 如果是,那么动物园磁盘(如 IO)的最低要求是什么? ...

Admin

ZooKeeper 无法启动,因为 acceptingEpoch 小于 currentEpoch
zookeeper

ZooKeeper 无法启动,因为 acceptingEpoch 小于 currentEpoch

我有 zookeeper.version=3.4.10,并且我看到: https://issues.apache.org/jira/browse/ZOOKEEPER-2307 但处于未解决状态。问题是由于磁盘空间已满而出现的。现在我删除了一些日志并释放了空间,我想启动 zookeeper,但由于此错误,它无法启动: [2019-01-22 09:07:32,646] ERROR Unable to load database on disk (org.apache.zookeeper.server.quorum.QuorumPeer) java.io...

Admin

Zookeeper 最佳实践 - 仅使用 SSD 磁盘
zookeeper

Zookeeper 最佳实践 - 仅使用 SSD 磁盘

我们有 HDP 集群版本 2.6.0 / 2.6.1 ( hortonworks ),将来可能会有 3.0 版本 我在 HORTONWORKS 文档中搜索了很多,但没有找到有关为 zookeeper 使用 SSD 磁盘的详细信息 但在 confluent 上,我们可以看到他们完全建议 zookeeper 服务器必须与 SSD 配合使用 参考:https://docs.confluent.io/current/zookeeper/deployment.html 磁盘性能对于维护健康的 Zookeeper 集群至关重要。强烈建议使用固态硬盘 (SSD),...

Admin