在centos上排查hbase故障时，可以按照以下步骤进行操作：
1. 确认故障表现
- 明确HBase集群的具体表现，例如读写延迟增加或服务不可用等。
2. 检查HBase日志
- 查看位于/hbase/logs目录下的HBase日志文件，包括hbase-hadoop-{hostname}.log、hbase-hbase-{hostname}.log、hbase-regionserver-{hostname}.log和hbase-master-{hostname}.log。
- 通过分析日志中的错误信息，初步判断故障原因。
3. 使用HBase Shell进行诊断
4. 数据收集与审查
- 使用HBase的监控接口或第三方工具（如Ganglia、Prometheus、Grafana）收集性能数据，审查这些数据以发现异常或不正常的行为。
5. 问题定位与瓶颈分析
- 结合日志信息和监控数据，使用分析工具和诊断命令进一步定位问题。例如，使用jstack获取Java虚拟机中所有线程的堆栈跟踪信息，帮助分析线程的执行路径和可能的问题。
6. 实施故障解决方案
- 根据故障类型采取相应的解决措施：
- 启动失败：优化HBase启动参数，如增加hbase.master.executor.serverops.threads和hbase.master.initializationmonitor.timeout等。
- Region无法上线：如果由于主机名修改导致Region无法上线，进入HBase shell，执行scan 'hbase:meta'检查元数据，删除有问题的meta表信息后重启HBase。
- HBck工具使用问题：使用hbase hbck -fixAssignments tableName命令修复分配问题，然后再次运行hbase hbck tableName检查是否修复所有不一致。
- 连接问题：如果无法连接到ZooKeeper，检查ZooKeeper的状态，确保其正常运行，并调整连接超时时间。
- 性能优化：使用批量写入和读取接口，合理设置缓存大小，启用数据压缩，预分区表等。
- 配置文件问题：确保hbase-site.xml和hadoop-env.sh配置文件中的参数正确，如设置正确的hbase.rootdir和hbase.zookeeper.quorum。
7. 监控与告警设置
- 使用Ganglia、Prometheus、Grafana等工具对HBase集群进行监控，并设置告警规则，确保系统稳定运行。
8. 高可用性配置
- 确保HBase Master的自动故障转移配置正确，以实现高可用性。
9. 权限设置检查
- 检查hbase-site.xml文件中的配置，特别是hbase.cluster.distributed和hbase.unsafe.stream.capability.enforce标签的设置。
- 确保文件和目录的权限设置正确，HBase用户有足够的权限访问必要的文件和目录。
通过以上步骤，可以有效地排查和解决HBase在CentOS上的故障，确保系统的稳定运行和数据的一致性。如果问题依然存在，建议查看HBase的日志文件，以获取更多详细的错误信息，并在社区论坛或者官方文档中寻求帮助。
