HDFS在CentOS上的配置文件有哪些

centos系统下的hadoop分布式文件系统(hdfs)配置详解

在CentOS环境中部署Hadoop HDFS，需要正确配置四个核心配置文件，它们位于Hadoop安装目录下的etc/hadoop文件夹中。以下详细介绍每个配置文件及其关键参数：

1. core-site.xml: 定义系统级参数，例如HDFS的URL和Hadoop的临时目录。

   示例配置：

   
       
           fs.defaultFS
           hdfs://localhost:9000
       
       
           hadoop.tmp.dir
           /usr/local/hadoop/tmp
       
       
           hadoop.proxyuser.root.hosts
           *
       
       
           hadoop.proxyuser.root.groups
           *
       
   

2. hdfs-site.xml: 配置HDFS特有的参数，例如NameNode和DataNode的地址、副本数量以及文件访问权限等。

   示例配置：

   
       
           dfs.http.address
           localhost:9870
       
       
           dfs.namenode.secondary.http-address
           localhost:9870
       
       
           mapreduce.jobhistory.address
           localhost:10020
       
       
           mapreduce.jobhistory.webapp.address
           localhost:19888
       
   

3. mapred-site.xml: 配置MapReduce框架的参数。

   

   淘淘乐商城整站 For ECSHOP

   基于ECSHOP2.7.2制作，模板使用的是早期的凡客模板。整站大气，清爽。适合综合，鞋子，服饰类商城使用。具体安装方法在程序包中有说明，在使用之前请看下。 大体方法：1.上传程序至网站根目录，访问：域名/diguo (用户名:admin 密码:123456)2.设置好数据库信息,然后恢复数据,数据目录在www.shopex5.com下.3.修改data目录下的config数据库配置文件。4.登陆

   下载

   示例配置：

   
       
           mapreduce.framework.name
           yarn
       
   

4. yarn-site.xml: 配置YARN（Yet Another Resource Negotiator，Hadoop集群资源管理器）的参数。

   示例配置：

   
       
           yarn.resourcemanager.address
           localhost:8032
       
       
           yarn.resourcemanager.scheduler.address
           localhost:8030
       
       
           yarn.resourcemanager.resource-tracker.address
           localhost:8031
       
       
           yarn.nodemanager.aux-services
           mapreduce_shuffle
       
       
           yarn.nodemanager.aux-services.mapreduce_shuffle.class
           org.apache.hadoop.mapred.ShuffleHandler
       
       
           yarn.nodemanager.vmem-check-enabled
           false
       
       
           yarn.nodemanager.disk-health-checker.max-disk-utilization-percentage
           99
       
       
           yarn.application.classpath
           /usr/lib/hadoop/client-0.20/lib/*
       
   

在实际配置过程中，需要根据集群环境和具体需求调整这些参数的值。例如，fs.defaultFS 指定 NameNode 的地址，dfs.replication 设置文件副本数量等。 务必仔细检查每个参数的含义，确保配置正确，以避免HDFS运行出现问题。