在centos系统上搭建hadoop分布式文件系统（hdfs）需要多个步骤，本文提供一个简要的配置指南。
一、前期准备
-
安装JDK: 在所有节点上安装Java Development Kit (JDK)，版本需与Hadoop兼容。 可从Oracle官网下载安装包。
-
环境变量配置: 编辑
/etc/profile文件，设置Java和Hadoop的环境变量，使系统能够找到JDK和Hadoop的安装路径。
二、安全配置：SSH免密登录
-
生成SSH密钥: 在每个节点上使用
ssh-keygen命令生成SSH密钥对。 -
密钥分发: 将公钥(
~/.ssh/id_rsa.pub)复制到其他所有节点的~/.ssh/authorized_keys文件中，实现节点间的免密登录。
三、核心配置文件修改
修改Hadoop的核心配置文件，这些文件通常位于Hadoop安装目录下的etc/hadoop文件夹中：
-
core-site.xml: 配置HDFS的默认文件系统地址。 -
hdfs-site.xml: 配置HDFS的关键参数，例如数据块大小、副本数量等。 -
mapred-site.xml和yarn-site.xml: 配置MapReduce和YARN框架的相关参数。
四、NameNode格式化
在NameNode节点上执行以下命令，格式化NameNode：
hdfs namenode -format
五、启动HDFS
在任意节点上执行以下命令启动HDFS：
sbin/start-dfs.sh
六、HDFS运行状态验证
使用jps命令检查HDFS是否成功启动，应该可以看到NameNode和DataNode等进程正在运行。
七、高级配置（可选）
-
时间同步: 建议配置NTP服务，确保集群中所有节点的时间同步，避免时间差异导致问题。
-
Web UI配置: 配置YARN的ResourceManager和NodeManager，以便通过Web界面监控HDFS的运行状态。
注意: 以上步骤仅为简要指南，具体配置细节可能因Hadoop版本和系统环境而异。 请务必参考Hadoop官方文档获取更详细和准确的配置信息，以确保HDFS的正确安装和运行。
