在centos系统中配置hadoop分布式文件系统（hdfs）是一项复杂的任务，需要经过多个步骤来完成。以下是详细的配置指南：
准备环境
- 安装Java环境：
- 由于Hadoop依赖于Java，因此需要安装JDK。您可以从Oracle官方网站下载并安装JDK 8。
- 安装SSH服务：
- 确保所有节点之间可以无密码登录SSH。``` sudo yum install -y openssh-server openssh-client sudo systemctl start sshd sudo systemctl enable sshd ssh-keygen -t rsa -P "" ssh-copy-id root@node2 ssh-copy-id root@node3
- 网络配置：
- 配置主机名和IP地址映射。``` vi /etc/hosts vi /etc/sysconfig/network-scripts/ifcfg-ens33
- 设置静态IP地址和网关。
设置Hadoop环境变量
- 修改 /etc/profile 文件：
vi /etc/profile export JAVA_HOME=/usr/java/latest export PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME=/usr/local/hadoop export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile
配置HDFS核心文件
- 配置 core-site.xml：
fs.defaultFS hdfs://namenode:9000
- 配置 hdfs-site.xml：
dfs.replication 1 dfs.namenode.name.dir /usr/local/hadoop/hdfs/namenode dfs.datanode.data.dir /usr/local/hadoop/hdfs/datanode
格式化NameNode
- 初始化NameNode：
hdfs namenode -format
启动HDFS
- 启动HDFS服务：
sbin/start-dfs.sh
验证配置
- 检查HDFS状态：
jps
- 您应该能够看到NameNode、DataNode等进程。
配置防火墙（可选）
- 关闭防火墙：
sudo systemctl stop firewalld sudo chkconfig firewalld off
配置免密登录（可选）
- 确保所有节点之间可以通过SSH无密码登录。
以上步骤提供了在CentOS上配置HDFS的基本流程。根据具体需求和环境，您可以进行进一步的调整和优化。
