我们有一个带有主动/备用资源管理器服务的 Hadoop 集群，主动资源管理器在 master1 机器上，备用资源管理器在 master2 机器上 在我们的集群中，包含资源管理器服务的 YARN 服务正在管理工作机器上的 276 个节点管理器组件 从 Ambari WEB UI 警报（资源管理器警报）中，我们注意到以下内容 Resource Manager Web UI Connection failed to http://master2.jupiter.com:8088(timed out) 我们开始使用端口 8088 的 wget 来调试该问题，发现该...
我使用一个 KDC 来管理两个不同数据库中的两个领域（例如krb5kdc -p 2001 -r REALM1 -p 2002 -r REALM2），如何配置它们以相互信任？我知道在两个不同的 KDC 中（例如add_principal krbtgt/REALM1@REALM2）的步骤。它们可以以相同的方式配置吗？或者根本不需要配置，它们已经在同一个 KDC 服务中相互信任？ 如果我有两个领域不同的 Hadoop 集群，哪种方式更好？一个 KDC 还是两个 KDC？ ...
我正在部署一个包含 Hadoop、Spark 和 Apache Druid 的 5-KVM 集群以进行测试，但我遇到了有关 Druid 的问题。正在运行的集群组织如下： hadoop-master：还托管 Druid 主节点（协调员-霸主（英文）： hadoop-worker1：还托管 Druid 第一个数据节点（中层经理和历史（英文）： hadoop-worker2：还托管 Druid 的第二个数据节点； spark-worker1：还托管 Druid 查询节点（经纪人和路由器）。 我还配置了一个 Zookeeper 集群，分布在所有这些机器上以及sp...
我正在尝试在我的 MacBook Air M1 上安装 Hadoop，当我在终端中输入 start-all.sh 时，它提示 fatix@localhost: Permission denied (publickey,password,keyboard-interactive). 我按照以下步骤生成 ssh 密钥： ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 id_rsa 像这样更改我的配置...
我正在尝试部署分布式系统 Hadoop 框架项目。因此，我在个人电脑上下载并安装了 WSL2，并创建了 2 个虚拟机作为 Linux 服务器。现在，我需要从从属节点（虚拟机 A 具有公共 IP，而虚拟机 B 仅具有本地 IP）通过 SSH 连接到主节点（个人电脑）以建立连接。有什么办法吗？ ...
我们有 Hadoop 集群，我们正在收集指标数据，以调查 Spark 应用程序的缓慢行为 经过对 Hadoop 集群的长期调查 我们从 Prometheus 指标中注意到，node_disk_io_now 的值高于正常值，并且它与数据节点机器上的所有 HDFS 磁盘相关 node_disk_io_now 定义是： node_disk_io_now (字段 9) 唯一应归零的字段。当请求被发送到适当的 struct request_queue 时，该字段会增加，当请求完成时，该字段会减少。 我们想知道，调整内核参数是否可以对磁盘性能产生积极的影响 根据 nod...
net.core.netdev_max_backlog 我们想了解内核值非常低且不符合建议值时会出现哪些情况 在我们的 Linux RHEL 机器上，此参数的值为1000 因为我们的机器是 HADOOP 机器（BIGDATA 集群） 我们看到最佳做法是增加价值65536 如下所述： https://datasayans.wordpress.com/2015/11/04/performance-kernel-tuning-for-hadoop-environment/ 背景： 内核参数“netdev_max_backlog”是接收队列的最大大小。接收的帧将从...
如何让 Hadoop 在 Windows 10 Pro x64（AMD）上运行？ 每个 stackoverflow 文章，甚至 Hadoop 上的文档都是多年前的，已经过时了，并且不起作用，有些东西已经发生了变化，文档不同步 - 非常糟糕。 我创建了一个 Windows 环境变量 HADOOP_HOME = C:\hadoop，并将 hadoop.dll 和 winutils.exe 放在 %HADOOP_HOME%\bin 中，但仍然没有任何作用。 我将 %HADOOP_HOME%\bin 添加到 PATH 是否有人在上个月内这样做过？可以分享一下你采取的...
我们正在尝试在两台不同的机器上设置双节点 Hadoop 集群。两台机器上都已设置了无需密码的 SSH 到本地主机。Hadoop 可以在每台单独的机器上作为单节点运行良好。 我们正处于使用 ssh 连接到对方服务器并尝试将公钥复制到对方的 .ssh 文件夹的阶段。但问题是我们似乎甚至无法通过 ip 找到服务器： 这是我尝试 ssh 到另一台机器时得到的结果： ssh -v jingfang@hadoop-master OpenSSH_7.6p1 Ubuntu-4ubuntu0.3, OpenSSL 1.0.2n 7 Dec 2017 debug1: ...
我是 docker 新手，想设置 Hadoop 容器，首先为它创建 ssh-server 容器，以便于调试，因为我的第一个容器运行良好，可以登录 ssh 本地主机 在容器内无需任何密码。 ssh-容器： https://github.com/nitesh-kumar-sharma/hands-dirty-docker/blob/master/hadoop/Dockerfile docker build -t ssh-local . docker run -d ssh-local 建立成功!! Hadoop容器： https://gith...
我在自己的硬件上启动了一个小型 Hadoop 集群用于实验，有三个数据节点，磁盘空间为 30GB。后来我又添加了两个节点，每个节点有 200GB，现在我的集群大约有 420GB。我的副本因子是 2。今天我的起始数据节点已满，即使新数据节点有可用空间，当集群尝试复制块时，集群上的写入也会失败。我假设名称节点正在尝试将块复制到已满的数据节点。我一直在阅读有关管理卷写入的策略 (dfs.datanode.fsdataset.volume.choosing.policy) 的信息，但似乎对数据节点上的副本过程没有影响。 有没有一种方法或策略可以在数据节点已满时忽略写...
我已经关注这本教程用于在 Ubuntu 18.04 虚拟机（4 核和 10 GB 内存）上安装 Hadoop，用于学习目的。我已成功完成所有步骤，没有任何错误。这些是我的所有配置文件： 核心站点.xml hdfs-site.xml 纱线-站点.xml mapred-站点.xml 该hadoop/bin/hdfs namenode -format命令按预期工作。 问题是启动dfs和yarn服务时，命令hadoop/sbin/start-dfs.sh和hadoop/sbin/start-yarn.sh没有显示任何错误，但是当我执行时jps，datan...
Hive 3.1.2 Hadoop 3.2.1 当我在命令行中运行 hive 时，它会告诉我以下错误消息： which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin) SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/hadoop/apache-hive-3.1.2-bin/lib/log4j-slf4j-impl...
我也遇到了同样的问题Hadoop 3.2.1 namenode 格式 根据要求将此作为新问题提出，并提供更多详细信息： 这发生在桌面、Windows 10、64 位、应用了所有 Windows 更新的情况下。 遵循所有说明https://dev.to/awwsmm/installing-and-running-hadoop-and-spark-on-windows-33kc。例外：a) Hadoop 3.2.1（在这个问题上受阻后，尝试了 Hadoop 3.1.0 和 Hadoop 2.8.0）b) apache-hadoop-3.1.0-winut...
%20%E5%8D%A1%E4%BD%8F.png)
我使用官网提供的vmware添加新的集群动作，尝试用两个节点进行部署，重复几次总是卡在这个阶段，找不到问题所在。 在此处输入图片描述 请帮忙，谢谢。 ...