Linux rook-ceph 的 cephfs / rbd / object 存储多协议并存配置

能，cephfs、rbd、object 可共存于一个 rook-ceph 集群，共享 mon/osd/mgr，仅上层服务组件不同；需分别创建 cephfilesystem、cephblockpool、cephobjectstore cr，并确保 ceph 版本≥16.2.0、rgw 依赖模块启用及网络权限配置正确。

cephfs、rbd、object 能不能共存于一个 rook-ceph 集群？

能，而且是默认行为。Rook 0.9+ 版本起，只要集群健康，cephfs、rbd、rgw（即 object）三种存储后端天然共存——它们共享同一套 mon、osd 和 mgr，只是上层服务组件不同。

常见错误现象：ceph status 显示 HEALTH_WARN，但 rbd list 可用、ceph fs ls 报空、radosgw-admin realm list 报连接拒绝。这不是协议冲突，而是对应服务未部署或未就绪。

• 确认 CephCluster CR 中 spec.cephVersion.image 指向支持 RGW 的 Ceph 版本（≥ v16.2.0，推荐 v17.2.7+）
• CephFilesystem、CephBlockPool、CephObjectStore 三个 CR 必须分别创建，缺一不可；Rook 不会自动补全
• RGW 依赖 mgr 的 dashboard 和 prometheus 模块启用，否则 radosgw-admin 命令可能卡住

为什么 cephfs mount 失败但 rbd map 成功？

根本原因不是协议不兼容，而是内核模块和挂载参数的组合问题。CephFS 依赖客户端内核支持，而 RBD 是块设备，走的是通用块层。

典型错误现象：mount -t ceph ... 报 Operation not supported 或卡在 connecting to mon；但 rbd map 和 mkfs.xfs /dev/rbd0 完全正常。

• 检查节点是否加载 ceph 内核模块：lsmod | grep ceph；没输出就 modprobe ceph（需确保内核配置含 CONFIG_CEPH_FS=m）
• 使用 kernel 驱动挂载时，mon_addr 必须是 IP:PORT 格式，不能是 DNS 名；rook 默认生成的 ceph.conf 里 mon host 是域名，得手动替换
• 更稳妥的做法是改用 fuse 挂载：ceph-fuse -n client.admin --keyring /etc/ceph/keyring -r / /mnt/cephfs，绕过内核限制

rgw endpoint 不通，但 rbd 和 cephfs 都正常

RGW 是独立服务，它不依赖 cephfs 或 rbd 是否启用，但严重依赖网络可达性、TLS 配置和用户权限初始化。

Text Mark

处理文本内容的AI助手

下载

常见错误现象：curl http://rook-ceph-rgw-my-store.rook-ceph.svc:80 返回 503 或连接超时；radosgw-admin user list 报 connection refused。

• CephObjectStore CR 的 spec.gateway.port 必须显式设为 80 或 443；rook 默认用 8080，而多数 S3 客户端（如 awscli）不认非标端口
• Service 类型必须是 ClusterIP + NodePort 或 LoadBalancer；仅 ClusterIP 无法从集群外访问 RGW
• 首次启动后，RGW 不会自动生成 admin 用户；必须手动运行 radosgw-admin user create 并保存 access_key/secret_key，否则 S3 请求一律 403

多协议共存时 OSD 使用率不均衡？

不是协议本身导致的，而是 pool 的 crush rule、pg_num 设置和写入模式差异引发的。RBD 默认用 replicated pool，CephFS 元数据 pool 通常用高副本，RGW 默认用 erasure-coded pool —— 这些配置若混用不当，会放大倾斜。

表现：ceph osd df 显示某些 OSD 使用率 85%，另一些仅 30%；rbd bench 和 dd if=/dev/zero of=test bs=4M count=1024 oflag=direct 在不同 pool 上结果差异巨大。

• 检查各 pool 的 crush_rule：ceph osd pool get <pool-name> crush_rule</pool-name>；确保所有 pool 用同一 rule（如 replicated_rule），除非你明确需要 EC
• 避免给 CephFS data pool 设过小 pg_num（如 32）；建议按公式 ceil( (OSD 数 × 100) / 3 ) 计算，再取最接近的 2 的幂次
• RGW 的 bucket index pool 若未单独设置 pg_num，会继承默认值，极易成为热点；务必显式设置：ceph osd pool set .rgw.root pg_num 128

多协议并存本身不增加运维复杂度，真正容易被忽略的是：每个协议背后对应的 pool、crush rule、keyring 权限、网络暴露方式，都是独立配置项。少设一个，就少一条通路。