0

0

Linux GlusterFS 分布式存储实战

舞夢輝影

舞夢輝影

发布时间:2026-02-21 05:41:35

|

476人浏览过

|

来源于php中文网

原创

glusterfs卷创建失败主因是glusterd未运行或brick路径不存在/权限不足;客户端卡顿需调优cache-size和ping-timeout;脑裂须人工干预;版本不兼容会导致peer断连;brick状态异常需查port/pid确认是否启动。

linux glusterfs 分布式存储实战

GlusterFS 卷创建失败:volume createTransport endpoint is not connected

这通常不是网络不通,而是本地 glusterd 服务没跑起来,或 Brick 路径不存在 / 权限不对。GlusterFS 启动 Brick 前会先尝试挂载一个伪文件系统(/var/lib/glusterd/vols/ 下的 volname 目录),如果该目录不可写、父目录不存在,或者 glusterd 没在运行,就会卡在这一步。

  • 先确认 systemctl status glusterd 是 active (running),否则 systemctl start glusterd
  • 检查每个 Brick 路径是否真实存在:/data/brick1 这类路径必须提前 mkdir -p 好,且属主为 root:gluster(或至少 gluster 组可写)
  • 别用 NFS 或 CIFS 挂载点当 Brick —— GlusterFS 的 Brick 必须是本地 ext4/xfs 文件系统,且不能是其他挂载子目录
  • 执行 gluster volume create 前,确保所有节点时间同步(chronydntpd),否则 peer probe 可能静默失败

客户端挂载后写入慢、ls 卡顿:默认配置下 performance.cache-sizenetwork.ping-timeout 拉垮

GlusterFS 默认不开启读缓存,每次 ls 都要跨网络查所有 Brick 的目录项;同时,心跳超时设得过大(默认 42 秒),节点临时抖动就会让整个 I/O hang 住。

  • 挂载时加选项:mount -t glusterfs -o cache-size=256MB,transport.socket.keepalive-interval=2,transport.socket.keepalive-time=10 server1:/vol1 /mnt
  • 更稳妥的做法是在卷上设置: gluster volume set vol1 performance.cache-size 256MB gluster volume set vol1 network.ping-timeout 5
  • 注意 cache-size 是 per-client 生效,不是全局内存占用;但设太大(如 >1GB)反而可能触发内核 page cache 压力,尤其小内存机器
  • 如果用了 distribute-replicate 类型卷,避免在客户端开 read-ahead(默认开启),它对小文件随机读收益低,还加重网络负载

gluster volume heal 不自动修复,heal info 显示大量 Split-brain

Split-brain 不是“坏了”,而是 GlusterFS 明确拒绝自动仲裁 —— 它不知道哪边数据更新,也不敢随便丢数据。默认策略是停写、报错、等人工干预。

Pixelcut
Pixelcut

AI产品图片处理——背景移除替换、物体抹除和图片放大

下载
  • 先查具体冲突文件:gluster volume heal vol1 info split-brain,输出里带 gfid: 的就是真冲突
  • 手动选一边恢复:gluster volume heal vol1 split-brain bigger-file /path/to/file(选大文件)或 source-brick(指定某节点为准)
  • 别碰 gluster volume set vol1 cluster.quorum-type 改成 none 来绕过仲裁 —— 这等于关掉脑裂保护,后续写入可能永久丢失
  • 预防比修复重要:确保复制卷(replica 3)至少 2 个 Brick 在线才允许写;用 quorum ratio 2(而非默认的 auto)能避免偶发网络分区引发脑裂

升级 GlusterFS 后 gluster peer status 显示 Peer in Cluster 但状态为 Disconnected

这是版本不兼容的典型信号。GlusterFS 9.x 和 10.x 之间协议有变更,老节点无法解析新节点发来的 handshake 包,但又没彻底断连,就卡在“已加入集群但连不上”这种灰色状态。

  • 先确认所有节点版本一致:gluster --version,特别注意 CentOS Stream 8/9 自带的包可能混着 8.x/9.x
  • 升级顺序必须是:先停所有 glusterd,再统一 rpm/yum upgrade,最后逐台 systemctl start glusterd
  • 升级后执行:gluster volume reset all(清空旧配置缓存),再 gluster peer probe 重连(哪怕显示已连接也要重探)
  • 如果仍失败,检查 /var/log/glusterfs/etc-glusterfs-glusterd.vol.log 里是否有 protocol version mismatch,那就是版本硬冲突,没别的办法,只能全量降级或重装

GlusterFS 的“分布式”不是黑盒,每个 Brick 的磁盘健康、内核版本、甚至 SELinux 策略都可能成为单点故障源。最常被跳过的其实是 gluster volume status detail 里每个 Brick 的 PortPid —— 它们不显示,往往意味着 Brick 根本没起来,而不是网络问题。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

396

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

246

2023.10.07

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

1520

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

715

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

300

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

791

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

584

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

563

2023.07.20

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

796

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 9.4万人学习

Git 教程
Git 教程

共21课时 | 3.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号