如何在CentOS上部署HBase多节点

在centos上部署hbase多节点集群涉及多个步骤，包括准备环境、配置hbase和zookeeper、启动服务以及验证集群状态。以下是一个详细的指南：

1. 准备环境

1.1 安装Java

HBase需要Java运行环境，建议安装OpenJDK或Oracle JDK。

sudo yum install java-1.8.0-openjdk-devel

1.2 安装Hadoop

HBase依赖于Hadoop，因此需要先安装Hadoop。

# 下载Hadoop
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz -C /opt
sudo mv /opt/hadoop-3.3.1 /opt/hadoop

# 配置Hadoop
sudo cp /opt/hadoop/etc/hadoop/core-site.xml.template /opt/hadoop/etc/hadoop/core-site.xml
sudo cp /opt/hadoop/etc/hadoop/hdfs-site.xml.template /opt/hadoop/etc/hadoop/hdfs-site.xml
sudo cp /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapred-site.xml
sudo cp /opt/hadoop/etc/hadoop/yarn-site.xml.template /opt/hadoop/etc/hadoop/yarn-site.xml

# 编辑配置文件
echo "<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
    </property>
</configuration>" | sudo tee -a /opt/hadoop/etc/hadoop/core-site.xml

echo "<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>" | sudo tee -a /opt/hadoop/etc/hadoop/hdfs-site.xml

echo "<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>" | sudo tee -a /opt/hadoop/etc/hadoop/mapred-site.xml

echo "<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>" | sudo tee -a /opt/hadoop/etc/hadoop/yarn-site.xml

1.3 配置HBase

下载并解压HBase。

wget https://archive.apache.org/dist/hbase/2.4.9/hbase-2.4.9-bin.tar.gz
tar -xzvf hbase-2.4.9-bin.tar.gz -C /opt
sudo mv /opt/hbase-2.4.9 /opt/hbase

2. 配置HBase和Zookeeper

2.1 配置HBase

编辑HBase配置文件/opt/hbase/conf/hbase-site.xml。

<<span>configuration></span>
    <<span>property></span>
        <<span>name></span>hbase.rootdir</<span>name></span>
        <<span>value></span>hdfs://namenode:9000/hbase</<span>value></span>
    </<span>property></span>
    <<span>property></span>
        <<span>name></span>hbase.cluster.distributed</<span>name></span>
        <<span>value></span>true</<span>value></span>
    </<span>property></span>
    <<span>property></span>
        <<span>name></span>hbase.zookeeper.quorum</<span>name></span>
        <<span>value></span>zookeeper1,zookeeper2,zookeeper3</<span>value></span>
    </<span>property></span>
    <<span>property></span>
        <<span>name></span>hbase.zookeeper.property.dataDir</<span>name></span>
        <<span>value></span>/var/lib/zookeeper</<span>value></span>
    </<span>property></span>
</<span>configuration></span>

2.2 配置Zookeeper

编辑Zookeeper配置文件/opt/hbase/conf/zoo.cfg。

tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
server.1=zookeeper1:2888:3888
server.2=zookeeper2:2888:3888
server.3=zookeeper3:2888:3888

在每个Zookeeper节点上创建myid文件。

echo "1" | sudo tee /var/lib/zookeeper/myid  # 在zookeeper1节点上
echo "2" | sudo tee /var/lib/zookeeper/myid  # 在zookeeper2节点上
echo "3" | sudo tee /var/lib/zookeeper/myid  # 在zookeeper3节点上

3. 启动服务

3.1 启动Hadoop

在NameNode节点上启动Hadoop。

Sora

Sora是OpenAI发布的一种文生视频AI大模型，可以根据文本指令创建现实和富有想象力的场景。

下载

start-dfs.sh
start-yarn.sh

3.2 启动Zookeeper

在每个Zookeeper节点上启动Zookeeper。

/opt/hbase/bin/zkServer.sh start

3.3 启动HBase

在HBase Master节点上启动HBase。

/opt/hbase/bin/start-hbase.sh

4. 验证集群状态

4.1 检查HBase Master状态

访问HBase Master Web UI，通常是http://:16010。

4.2 检查HBase RegionServer状态

访问HBase RegionServer Web UI，通常是http://:16030。

4.3 使用HBase Shell

连接到HBase Shell并检查集群状态。

/opt/hbase/bin/hbase shell
list
status 'simple'

通过以上步骤，你应该能够在CentOS上成功部署一个HBase多节点集群。确保所有节点之间的网络连接正常，并且防火墙配置允许必要的端口通信。