在centos上部署hdfs（hadoop分布式文件系统）需要经过一系列详细的步骤，包括安装java、配置hadoop环境变量以及调整hdfs相关的参数。以下是逐步的操作指南：
第一步：安装Java
Hadoop依赖于Java运行时环境（JRE）或Java开发工具包（JDK）。你可以通过以下命令来安装OpenJDK：
sudo yum install java-1.8.0-openjdk-devel
检查Java是否安装成功：
java -version
第二步：下载并解压Hadoop
访问Apache Hadoop官网下载最新的Hadoop版本，并将其解压缩到指定目录。例如：
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/
第三步：配置Hadoop环境变量
编辑
/etc/profile.d/hadoop.sh文件，加入如下内容：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk export HADOOP_HOME=/usr/local/hadoop-3.3.4 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
让配置立即生效：
source /etc/profile.d/hadoop.sh
确认Hadoop已正确安装：
hadoop version
第四步：配置HDFS
打开
$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，插入以下配置：
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop-3.3.4/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop-3.3.4/data/datanode</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>创建必要的数据目录：
mkdir -p /usr/local/hadoop-3.3.4/data/namenode mkdir -p /usr/local/hadoop-3.3.4/data/datanode
第五步：配置YARN（如果需要）
如果计划使用YARN进行资源调度，还需配置YARN。编辑
$HADOOP_HOME/etc/hadoop/yarn-site.xml文件，添加以下配置：
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>第六步：格式化NameNode
初次启动HDFS前，需对NameNode进行格式化：
hdfs namenode -format
第七步：启动HDFS
启动HDFS服务：
start-dfs.sh
检查HDFS的状态：
hdfs dfsadmin -report
第八步：配置防火墙（可选）
如有防火墙存在，确保开放Hadoop所需的端口，如8020（NameNode）和50010（DataNode）：
sudo firewall-cmd --permanent --zone=public --add-port=8020/tcp sudo firewall-cmd --permanent --zone=public --add-port=50010/tcp sudo firewall-cmd --reload
第九步：配置SSH免密登录（可选）
为了简化操作，可以设置SSH无密码登录：
ssh-keygen -t rsa ssh-copy-id hadoop@namenode_host
将“hadoop”替换成实际用户，“namenode_host”替换成NameNode的主机名或IP地址。
按照上述步骤操作完成后，你就能在CentOS上顺利搭建并运行HDFS了。
