如何在CentOS上配置HDFS高可用

在centos上配置hdfs（hadoop distributed file system）高可用性，需要遵循以下步骤：

1. 准备工作

• 硬件准备：确保至少有三台服务器，用于部署NameNode和Secondary NameNode。
• 软件准备：安装Java和Hadoop。

2. 安装Java

sudo yum install java-1.8.0-openjdk-devel

3. 下载并解压Hadoop

wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/

4. 配置Hadoop

编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh文件，设置Java路径：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

5. 配置core-site.xml

<configuration>
    <property>
        <name>fs.defaultFSname>
        <value>hdfs://myclustervalue>
    property>
    <property>
        <name>hadoop.tmp.dirname>
        <value>/usr/local/hadoop/tmpvalue>
    property>
configuration>

6. 配置hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replicationname>
        <value>3value>
    property>
    <property>
        <name>dfs.namenode.name.dirname>
        <value>/usr/local/hadoop/data/namenodevalue>
    property>
    <property>
        <name>dfs.datanode.data.dirname>
        <value>/usr/local/hadoop/data/datanodevalue>
    property>
    <property>
        <name>dfs.namenode.secondary.http-addressname>
        <value>secondarynamenode:50090value>
    property>
    <property>
        <name>dfs.client.failover.proxy.provider.myclustername>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvidervalue>
    property>
    <property>
        <name>dfs.ha.fencing.methodsname>
        <value>sshfencevalue>
    property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-filesname>
        <value>/home/hadoop/.ssh/id_rsavalue>
    property>
    <property>
        <name>dfs.namenode.shared.edits.dirname>
        <value>qjournal://journalnode1:8485;journalnode2:8485;journalnode3:8485/myclustervalue>
    property>
    <property>
        <name>dfs.journalnode.edits.dirname>
        <value>/usr/local/hadoop/data/journalnodevalue>
    property>
configuration>

7. 配置yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.ha.enabledname>
        <value>truevalue>
    property>
    <property>
        <name>yarn.resourcemanager.cluster-idname>
        <value>yarn-clustervalue>
    property>
    <property>
        <name>yarn.resourcemanager.ha.rm-idsname>
        <value>rm1,rm2value>
    property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1name>
        <value>resourcemanager1value>
    property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2name>
        <value>resourcemanager2value>
    property>
    <property>
        <name>yarn.resourcemanager.zk-addressname>
        <value>zookeeper1:2181,zookeeper2:2181,zookeeper3:2181value>
    property>
configuration>

8. 配置mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.namename>
        <value>yarnvalue>
    property>
configuration>

9. 启动JournalNode

在所有journalnode服务器上执行：

/usr/local/hadoop/sbin/hadoop-daemon.sh start journalnode

10. 格式化NameNode

在其中一个NameNode服务器上执行：

/usr/local/hadoop/bin/hdfs namenode -format

11. 启动Secondary NameNode

在Secondary NameNode服务器上执行：

/usr/local/hadoop/sbin/hadoop-daemon.sh start secondarynamenode

12. 启动NameNode

在第一个NameNode服务器上执行：

/usr/local/hadoop/sbin/hadoop-daemon.sh start namenode

在第二个NameNode服务器上执行：

Shopxp购物系统Html版

一个经过完善设计的经典网上购物系统，适用于各种服务器环境的高效网上购物系统解决方案，shopxp购物系统Html版是我们首次推出的免费购物系统源码，完整可用。我们的系统是免费的不需要购买，该系统经过全面测试完整可用，如果碰到问题，先检查一下本地的配置或到官方网站提交问题求助。 网站管理地址：http://你的网址/admin/login.asp 用户名：admin 密 码：admin 提示：如果您

下载

/usr/local/hadoop/sbin/hadoop-daemon.sh start namenode

13. 启动ResourceManager

在ResourceManager1服务器上执行：

/usr/local/hadoop/sbin/yarn-daemon.sh start resourcemanager

在ResourceManager2服务器上执行：

/usr/local/hadoop/sbin/yarn-daemon.sh start resourcemanager

14. 启动DataNode

在所有DataNode服务器上执行：

/usr/local/hadoop/sbin/hadoop-daemon.sh start datanode

15. 验证配置

使用hdfs dfsadmin -report命令检查集群状态。

注意事项

• 确保所有节点之间的网络通信正常。
• 确保防火墙允许必要的端口通信。
• 定期备份配置文件和数据。

通过以上步骤，你可以在CentOS上配置一个高可用的HDFS集群。