centos环境下hdfs网络配置详解
本文详细介绍如何在CentOS系统上配置HDFS网络，涵盖静态IP地址设置、网络接口配置以及Hadoop配置文件修改等关键步骤。
第一步：配置静态IP地址
首先，为每个CentOS节点配置静态IP地址。编辑网络配置文件：
sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33
(注意：ens33 可能因系统而异，请替换为你的网络接口名称。) 在文件中设置以下参数：
-
BOOTPROTO=static(使用静态IP) -
IPADDR=(你的静态IP地址) -
NETMASK=(子网掩码) -
GATEWAY=(网关地址) -
DNS1=(首选DNS服务器地址) -
DNS2=(备选DNS服务器地址，可选) -
ONBOOT=yes(系统启动时自动启用网络)
例如：
DEVICE=ens33 BOOTPROTO=static IPADDR=192.168.1.100 NETMASK=255.255.255.0 GATEWAY=192.168.1.1 DNS1=8.8.8.8 DNS2=8.8.4.4 ONBOOT=yes
保存并重启网络服务：
sudo systemctl restart network
第二步：主机名和网络解析
确保每个节点的主机名正确且在网络中可解析。使用以下命令设置主机名（将hadoop1替换为你的主机名）：
hostnamectl set-hostname hadoop1
第三步：Hadoop网络配置
修改Hadoop配置文件 core-site.xml 和 hdfs-site.xml。
core-site.xml:
fs.defaultFS hdfs://namenode:9000
(将namenode替换为你的NameNode主机名)
hdfs-site.xml:
dfs.replication 1 dfs.namenode.name.dir /path/to/namenode/dir dfs.datanode.data.dir /path/to/datanode/dir
(将 /path/to/namenode/dir 和 /path/to/datanode/dir 替换为NameNode和DataNode的数据存储目录)
第四步：网络连接验证
使用 ping 命令验证网络连接：
ping www.baidu.com
第五步：启动HDFS
在主节点(master)上启动HDFS：
cd /path/to/hadoop/sbin ./start-dfs.sh
在从节点(slave)上，同步Hadoop配置：
scp -r /path/to/hadoop/etc/hadoop slave1:/path/to/slave1/etc/hadoop scp -r /path/to/hadoop/etc/hadoop slave2:/path/to/slave2/etc/hadoop
(将 slave1, slave2 替换为你的从节点主机名，/path/to/slave1/etc/hadoop 和 /path/to/slave2/etc/hadoop 替换为从节点上Hadoop配置文件的路径)
然后在每个从节点上启动DataNode：
cd /path/to/hadoop/sbin ./start-datanode.sh
完成以上步骤后，你的HDFS网络配置应该就完成了。 如有问题，请检查网络配置文件和Hadoop配置是否正确，并确保所有节点的配置一致。 请根据你的实际环境调整路径和主机名。
