0

0

Linux GlusterFS 分布式存储配置

冰川箭仙

冰川箭仙

发布时间:2026-02-19 12:07:03

|

358人浏览过

|

来源于php中文网

原创

glusterfs节点未真正加入集群导致volume create失败,需先用gluster peer probe添加节点并确认peer status为connected,否则即使网络连通也会报错。

linux glusterfs 分布式存储配置

gluster volume create 命令报错 “Volume creation failed: Host not in 'Peer in Cluster' state”

说明:这个错误不是磁盘或网络不通,而是节点没真正加入集群。GlusterFS 要求所有参与卷创建的节点必须先彼此“认领”为可信存储池成员,否则 gluster volume create 直接拒绝执行。

实操建议:

  • 先在任一节点运行 gluster peer probe <other-node-ip></other-node-ip>,逐个把其他节点加进来
  • 每执行一次后,立刻用 gluster peer status 确认状态是 Connected,不是 Peer Rejected 或空输出
  • 如果 peer probe 卡住或失败,检查 /var/log/glusterfs/etc-glusterfs-glusterd.vol.log,常见原因是防火墙拦了 24007 端口(glusterd 通信端口)
  • 别跳过这步直接建卷——哪怕所有节点 IP 都能 ping 通,glusterd 进程之间没握手成功,照样报这个错

挂载 GlusterFS 卷时卡在 mount -t glusterfs,但 dmesg 显示 “RPC: Authentication error”

说明:这不是权限问题,而是客户端内核模块(glusterfs-fuse 或内核态 glusterfs 模块)与服务端协议协商失败。CentOS 8+ / RHEL 8+ 默认禁用旧版 RPC 认证方式,而老版本 GlusterFS(如 3.12)默认走 AUTH_UNIX,不兼容。

实操建议:

  • 优先用 FUSE 挂载:确保已安装 glusterfs-fuse 包,然后用 mount -t glusterfs <node>:/<volname> /mnt</volname></node>
  • 若坚持用内核态挂载(mount -t glusterfs),需在服务端 glusterd 配置中启用新认证:编辑 /etc/glusterfs/glusterd.vol,添加 option rpc-auth-allow-insecure on,再重启 glusterd
  • 检查客户端内核模块版本是否匹配服务端:运行 modinfo glusterfs | grep version,若显示 3.x 但服务端是 10.x,大概率挂载失败

brick 目录权限被 glusterd 自动改成了 755,导致 NFS-Ganesha 导出失败

说明:glusterd 启动时会强制递归修复 brick 目录权限和属主(设为 root:root,权限 755),这是它的安全策略。但 NFS-Ganesha 要求 brick 目录可被 rpcuser(通常是 nfsnobody)读写,755 + root 属主直接堵死访问路径。

Difeye-敏捷的轻量级PHP框架
Difeye-敏捷的轻量级PHP框架

Difeye是一款超轻量级PHP框架,主要特点有: Difeye是一款超轻量级PHP框架,主要特点有: ◆数据库连接做自动主从读写分离配置,适合单机和分布式站点部署; ◆支持Smarty模板机制,可灵活配置第三方缓存组件; ◆完全分离页面和动作,仿C#页面加载自动执行Page_Load入口函数; ◆支持mysql,mongodb等第三方数据库模块,支持读写分离,分布式部署; ◆增加后台管理开发示例

下载

实操建议:

  • 不要手动 chown/chmod brick 目录——下次 glusterd 重启或 volume start 就会被覆盖
  • 在 brick 所在文件系统挂载选项里加 noatime,context="system_u:object_r:glusterd_brick_t:s0"(SELinux 场景),或关掉 SELinux(setenforce 0
  • 更稳妥的做法:把 brick 放在 XFS 文件系统上,并提前用 xfs_io -c "chattr +t" /bricks/brick1 开启“inherit”属性,让子目录自动继承父目录权限策略
  • 验证方法:执行 gluster volume start <vol></vol> 后立刻 ls -ld /bricks/brick1,确认权限未被重置

使用 gluster volume set performance.cache-size 无效,top 里 glusterfsd 进程内存占用始终很低

说明:cache-size 只控制读缓存大小,且仅对顺序读有效;GlusterFS 的写缓存由 performance.write-behindperformance.flush-behind 控制,和 cache-size 完全无关。很多人调了 cache-size 却发现吞吐没变化,是因为压根没触发读缓存逻辑。

实操建议:

  • 查是否真在读缓存:用 gluster volume top <vol> read-perf</vol> 看命中率,长期低于 20% 就说明 cache-size 设再大也没用
  • 真正影响随机小文件读性能的是 performance.read-ahead(默认开)和 performance.readdir-ahead(对 ls 类操作关键)
  • 写场景要调的是:performance.write-behind-window-size(单位 KB,默认 1024)和 performance.flush-behind(设为 on
  • 注意:所有 performance.* 参数只在 client 端生效,服务端 brick 上设置无效

GlusterFS 的坑多数藏在“默认行为”里——比如 peer probe 不显式失败但实际没连上,或者 volume set 参数看着生效了,其实 client 没加载对应 translator。动手前先看 gluster volume infogluster volume status detail 输出里的 translator 列表,比反复试错快得多。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

394

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

246

2023.10.07

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

371

2023.10.18

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

339

2023.10.25

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

1520

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

714

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

300

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

791

2023.07.05

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

660

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 9.3万人学习

Git 教程
Git 教程

共21课时 | 3.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号