☰

无法将 HDFS 从非 HA 转换为 HA

tag-icon • tag-icon high-availability hadoop hdfs zookeeper cloudera
无法将 HDFS 从非 HA 转换为 HA

介绍

目的：将 HDFS 从非 HA 转换为 HA。

方法：根据本文档通过实施以下配置，可以将 HFDS 从非 HA 转换为 HA：

/etc/hadoop/conf/hdfs-site.xml

 <property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>

/etc/hadoop/conf/core-site.xml

 <property>
   <name>ha.zookeeper.quorum</name>
   <value>localhost:2181</value>
 </property>

并执行以下命令：

sudo service hadoop-hdfs-journalnode start

sudo service hadoop-hdfs-zkfc start

hdfs namenode -initializeSharedEdits

sudo -u hdfs hdfs namenode -bootstrapStandby

sudo service hadoop-hdfs-namenode start

结果：

14/06/09 15:37:15 FATAL namenode.NameNode: Exception in namenode join
java.io.IOException: org.apache.hadoop.HadoopIllegalArgumentException: HA is not enabled for this namenode.
        at org.apache.hadoop.hdfs.server.namenode.ha.BootstrapStandby.run(BootstrapStandby.java:310)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1154)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1241)
Caused by: org.apache.hadoop.HadoopIllegalArgumentException: HA is not enabled for this namenode.
        at org.apache.hadoop.hdfs.server.namenode.ha.BootstrapStandby.parseConfAndFindOtherNN(BootstrapStandby.java:261)
        at org.apache.hadoop.hdfs.server.namenode.ha.BootstrapStandby.run(BootstrapStandby.java:92)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
        at org.apache.hadoop.hdfs.server.namenode.ha.BootstrapStandby.run(BootstrapStandby.java:305)
        ... 2 more
14/06/09 15:37:15 INFO util.ExitUtil: Exiting with status 1
14/06/09 15:37:15 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/127.0.0.1
************************************************************/

问题

如何将 HDFS 从非 HA 转换为 HA？

答案1

应用配置后（请参阅配置详细信息段落）定义在本文档问题HA is not enabled for this namenode已解决。

<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>machine1.example.com:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>machine2.example.com:8020</value>
</property>

分别在 ActiveNN 和 StandyNN 上应用其他配置设置将 HDFS 从非 HA 转换为 HA。

答案2

对于我来说，当我修正 hdfs-site.xml 配置文件时，错误HA is not enabled for this namenode就解决了，在这个文件中，我错误地为单个 nameservice-id 提到了 3 个 namenode-id。

Ha 配置仅接受 2 个 namenode-id。

相关内容