在centos系统上优化hadoop分布式文件系统（hdfs）网络配置，需要修改hadoop配置文件。以下步骤和配置参数将指导您完成此过程：
前提：已在CentOS上安装Hadoop。 如未安装，请参考Hadoop官方文档进行安装。
1. 核心配置 (core-site.xml):
此文件包含HDFS的核心配置。 你需要指定HDFS URI和临时目录路径。
fs.defaultFS hdfs://你的NameNode主机名:8020 hadoop.tmp.dir /你的Hadoop临时目录路径
2. HDFS配置 (hdfs-site.xml):
此文件包含HDFS的详细配置。 你需要设置副本数量、NameNode和DataNode的目录以及地址等。
dfs.replication 3 dfs.namenode.name.dir /你的NameNode数据目录路径 dfs.datanode.data.dir /你的DataNode数据目录路径 dfs.namenode.rpc-address 你的NameNode主机名:8020 dfs.datanode.address 你的DataNode主机名:50010 dfs.datanode.ipc.address 你的DataNode主机名:50020
3. YARN配置 (yarn-site.xml): (仅当使用YARN时)
配置YARN资源管理器和NodeManager。
yarn.resourcemanager.hostname 你的ResourceManager主机名 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
4. MapReduce配置 (mapred-site.xml): (仅当使用MapReduce时)
指定MapReduce框架。
mapreduce.framework.name yarn
5. 系统级网络参数调整 (/etc/sysctl.conf):
优化系统网络参数，提升Hadoop性能。 以下参数可根据实际网络情况调整。
net.ipv4.ip_local_port_range = 1024 65535 net.core.somaxconn = 1024 net.core.netdev_max_backlog = 1024 net.ipv4.tcp_max_syn_backlog = 1024 net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_fin_timeout = 30
应用配置： sudo sysctl -p
6. 启动Hadoop集群:
- 格式化NameNode (首次启动):
hdfs namenode -format - 启动HDFS和YARN:
start-dfs.shstart-yarn.sh
7. 验证配置:
检查HDFS状态: hdfs dfsadmin -report
查看YARN Web UI以确认ResourceManager状态。
重要提示: 请将占位符 你的NameNode主机名、你的DataNode主机名、你的ResourceManager主机名、/你的Hadoop临时目录路径、/你的NameNode数据目录路径 和 /你的DataNode数据目录路径 替换为你的实际主机名和路径。 根据你的集群规模和网络环境，可能需要调整 dfs.replication 的值。 确保所有主机之间可以互相ping通。
