在CentOS系统中实现HDFS（Hadoop分布式文件系统）的高可用性设置，需保证主NameNode发生故障时，备用NameNode能无缝切换。以下是具体操作流程：
1. 前期准备
- Hadoop安装完成：确认已在CentOS上安装好Hadoop，并且各节点已正确配置完毕。
- SSH免密登录配置：为便于管理，需在所有节点间配置SSH免密码登录功能。
2. core-site.xml 文件调整
打开$HADOOP_HOME/etc/hadoop/core-site.xml文件，加入如下内容：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>zk1:2181,zk2:2181,zk3:2181</value>
</property>
<property>
<name>ha.zookeeper.property.dataDir</name>
<value>/var/lib/zookeeper</value>
</property>
</configuration>3. hdfs-site.xml 文件配置
编辑$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，插入以下参数：
<configuration>
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>namenode1:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>namenode2:8020</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>namenode1:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>namenode2:50070</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://journalnode1:8485;journalnode2:8485;journalnode3:8485/mycluster</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/var/hadoop/hdfs/journal</value>
</property>
</configuration>4. yarn-site.xml 文件设置
修改$HADOOP_HOME/etc/hadoop/yarn-site.xml文件，添加以下内容：
<configuration>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yarn-cluster</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>resourcemanager1</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>resourcemanager2</value>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>zk1:2181,zk2:2181,zk3:2181</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>resourcemanager1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address.rm1</name>
<value>resourcemanager1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address.rm2</name>
<value>resourcemanager2:8030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>resourcemanager1:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>resourcemanager2:8088</value>
</property>
</configuration>5. Zookeeper服务启动
保证Zookeeper集群处于运行状态。可使用以下命令启动Zookeeper服务：
<code>$HADOOP_HOME/sbin/start-zookeeper.sh</code>
6. NameNode格式化
在主NameNode节点上执行命令格式化NameNode：
<code>$HADOOP_HOME/bin/hdfs namenode -format</code>
7. JournalNode启动
在所有JournalNode节点上启动JournalNode服务：
<code>$HADOOP_HOME/sbin/start-journalnode.sh</code>
8. 元数据同步
在主NameNode节点上执行命令同步元数据至JournalNode：
<code>$HADOOP_HOME/bin/hdfs namenode -bootstrapStandby</code>
9. NameNode启动
在主NameNode节点上启动NameNode服务：
<code>$HADOOP_HOME/sbin/start-dfs.sh</code>
在备用NameNode节点上初始化共享编辑日志并启动NameNode服务：
<code>$HADOOP_HOME/sbin/hdfs namenode -initializeSharedEdits $HADOOP_HOME/sbin/start-dfs.sh</code>
10. ResourceManager启动
在ResourceManager节点上启动ResourceManager服务：
<code>$HADOOP_HOME/sbin/start-yarn.sh</code>
在备用ResourceManager节点上启动ResourceManager服务：
<code>$HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager</code>
11. 系统验证
通过访问ResourceManager Web界面（如http://resourcemanager1:8088）和NameNode Web界面（如http://namenode1:50070）检查配置有效性。
按照上述步骤，您应该能够在CentOS上成功配置HDFS的高可用性。
