☰

Hadoop 给出错误“ls：本地异常失败：org.apache.hadoop.ipc.RpcException：RPC 响应超出最大数据长度”

tag-icon • tag-icon 14.04 hadoop
Hadoop 给出错误“ls：本地异常失败：org.apache.hadoop.ipc.RpcException：RPC 响应超出最大数据长度”

各位，
我几乎到处都搜索过了，花费了大量的时间。你们能帮我吗？我的 Ubuntu 14.04 中安装了 Java 8 和 Hadoop 2.9.1。输入 后start-all.sh，服务确实启动了。事实上，当我输入 时jps，我得到了以下内容：-

knjayanth@knjayanth-Inspiron-3558:~/Jayanth/Hadoop/sbin$ jps
25985 Jps
25378 SecondaryNameNode
25574 ResourceManager
25160 DataNode

但是，hdfs dfs -ls命令返回如下错误：-

knjayanth@knjayanth-Inspiron-3558:~/Jayanth/Hadoop/sbin$ hdfs dfs -ls
ls: Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; Host Details : local host is: "knjayanth-Inspiron-3558/127.0.1.1"; destination host is: "localhost":9000;

有人能帮我吗？我找了很多方法寻求帮助，但没有得到答案。请帮忙。

答案1

检查您的主机设置核心站点.xml。我认为您已将其配置为本地主机：9000但你的主机名是knjayanth-Inspiron-3558/127.0.1.1。 改变你的fs.默认FS价值核心站点.xml到knjayanth-Inspiron-3558/127.0.1.1并重新启动你的namenode。

答案2

这连接被拒绝错误可能是因为您的 namenode 服务器没有运行。您可以通过运行以下命令检查 namenode 服务器的状态：杰普斯命令。如果它正在运行，你应该能够看到名称节点服务。如果没有，那么您可能需要尝试以下操作：

  1. 通过执行停止所有正在运行的服务停止所有文件脚本
  2. 通过运行来格式化 namenode 服务器hadoop 名称节点格式（请注意，此命令将删除 hdfs 中存储的所有数据）。此步骤不是必需的，因此您可以跳过它
  3. 通过执行以下命令重新启动 namenode启动-dfs.sh或者启动全部文件启动所有服务，包括 YARN 服务
  4. 跑步杰普斯检查 namenode 是否正在运行

您还可以检查 hdfs namenode 日志/var/log/hadoop/hdfs以获取有关问题可能出在哪里的更多信息。

希望这可以帮助。

祝你好运:)

相关内容