如何在CentOS上部署HBase多节点

在centos上部署hbase多节点集群涉及多个步骤，包括准备环境、配置hbase和zookeeper、启动服务以及验证集群状态。以下是一个详细的指南：

1. 准备环境

1.1 安装Java

HBase需要Java运行环境，建议安装OpenJDK或Oracle JDK。

sudo yum install java-1.8.0-openjdk-devel

1.2 安装Hadoop

HBase依赖于Hadoop，因此需要先安装Hadoop。

# 下载Hadoop
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz -C /opt
sudo mv /opt/hadoop-3.3.1 /opt/hadoop

# 配置Hadoop
sudo cp /opt/hadoop/etc/hadoop/core-site.xml.template /opt/hadoop/etc/hadoop/core-site.xml
sudo cp /opt/hadoop/etc/hadoop/hdfs-site.xml.template /opt/hadoop/etc/hadoop/hdfs-site.xml
sudo cp /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapred-site.xml
sudo cp /opt/hadoop/etc/hadoop/yarn-site.xml.template /opt/hadoop/etc/hadoop/yarn-site.xml

# 编辑配置文件
echo "
    
        fs.defaultFS
        hdfs://namenode:9000
    
" | sudo tee -a /opt/hadoop/etc/hadoop/core-site.xml

echo "
    
        dfs.replication
        3
    
" | sudo tee -a /opt/hadoop/etc/hadoop/hdfs-site.xml

echo "
    
        mapreduce.framework.name
        yarn
    
" | sudo tee -a /opt/hadoop/etc/hadoop/mapred-site.xml

echo "
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
" | sudo tee -a /opt/hadoop/etc/hadoop/yarn-site.xml

1.3 配置HBase

下载并解压HBase。

wget https://archive.apache.org/dist/hbase/2.4.9/hbase-2.4.9-bin.tar.gz
tar -xzvf hbase-2.4.9-bin.tar.gz -C /opt
sudo mv /opt/hbase-2.4.9 /opt/hbase

2. 配置HBase和Zookeeper

2.1 配置HBase

编辑HBase配置文件/opt/hbase/conf/hbase-site.xml。

<configuration>
    <property>
        <name>hbase.rootdirname>
        <value>hdfs://namenode:9000/hbasevalue>
    property>
    <property>
        <name>hbase.cluster.distributedname>
        <value>truevalue>
    property>
    <property>
        <name>hbase.zookeeper.quorumname>
        <value>zookeeper1,zookeeper2,zookeeper3value>
    property>
    <property>
        <name>hbase.zookeeper.property.dataDirname>
        <value>/var/lib/zookeepervalue>
    property>
configuration>

2.2 配置Zookeeper

编辑Zookeeper配置文件/opt/hbase/conf/zoo.cfg。

tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
server.1=zookeeper1:2888:3888
server.2=zookeeper2:2888:3888
server.3=zookeeper3:2888:3888

在每个Zookeeper节点上创建myid文件。

echo "1" | sudo tee /var/lib/zookeeper/myid  # 在zookeeper1节点上
echo "2" | sudo tee /var/lib/zookeeper/myid  # 在zookeeper2节点上
echo "3" | sudo tee /var/lib/zookeeper/myid  # 在zookeeper3节点上

3. 启动服务

3.1 启动Hadoop

在NameNode节点上启动Hadoop。

Adobe Image Background Remover

Adobe推出的图片背景移除工具

下载

start-dfs.sh
start-yarn.sh

3.2 启动Zookeeper

在每个Zookeeper节点上启动Zookeeper。

/opt/hbase/bin/zkServer.sh start

3.3 启动HBase

在HBase Master节点上启动HBase。

/opt/hbase/bin/start-hbase.sh

4. 验证集群状态

4.1 检查HBase Master状态

访问HBase Master Web UI，通常是http://:16010。

4.2 检查HBase RegionServer状态

访问HBase RegionServer Web UI，通常是http://:16030。

4.3 使用HBase Shell

连接到HBase Shell并检查集群状态。

/opt/hbase/bin/hbase shell
list
status 'simple'

通过以上步骤，你应该能够在CentOS上成功部署一个HBase多节点集群。确保所有节点之间的网络连接正常，并且防火墙配置允许必要的端口通信。