0

0

K3s embedded etcd 磁盘满导致写操作失败怎么安全清理

舞夢輝影

舞夢輝影

发布时间:2026-01-18 19:54:09

|

591人浏览过

|

来源于php中文网

原创

当K3s内置etcd因磁盘满触发mvcc: database space exceeded错误时,需先压缩历史版本、再碎片整理、最后解除告警;严禁直接删文件,须按revision生命周期操作,并配置自动压缩与扩容预防复发。

k3s embedded etcd 磁盘满导致写操作失败怎么安全清理

当 K3s 内置 etcd 因磁盘满触发 mvcc: database space exceeded 错误时,写操作会失败,集群可能进入只读或降级状态。这不是单纯删文件就能解决的问题,必须按 etcd 数据生命周期逻辑操作:先压缩历史版本、再整理碎片、最后解除告警,同时避免误删关键数据。

确认当前空间使用和 revision 状态

先快速判断是否真满、满到什么程度:

  • 运行 ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 --write-out=table endpoint status,查看 DBSizeIsLeader 字段;若 DBSize 接近或等于配额(默认 2GB),且状态栏显示 dbm full 或报警,则确认已满
  • 获取最新 revision:rev=$(ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 endpoint status --write-out=json | grep -o '"revision":[0-9]*' | grep -o '[0-9]*'),这个值将用于后续压缩

执行安全压缩与碎片整理

压缩不是删除键,而是清理旧版本的 MVCC 历史记录;defrag 是回收物理磁盘空间。二者缺一不可,顺序不能颠倒:

Autoppt
Autoppt

Autoppt:打造高效与精美PPT的AI工具

下载
  • 先压缩:运行 ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 compact $rev。注意:该命令仅保留 revision ≥ $rev 的版本,Kubernetes 对象的更新历史会被精简,但不会丢失当前状态
  • 再整理:立即执行 ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 defrag。这一步真正释放磁盘空间,耗时取决于数据量,期间 etcd 可能短暂响应变慢,但不中断服务
  • 解除告警:ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 alarm disarm,否则即使空间已释放,etcd 仍拒绝写入

针对性清理高增长路径(可选但推荐)

K3s 中 /registry/events/ 和 /registry/minions/ 等路径常因频繁事件或节点心跳产生大量键,可按前缀批量清理:

  • 查事件数量:ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 get --prefix /registry/events/ | wc -l,若远超千条,说明事件积压严重
  • 清理旧事件:ETCDCTL_API=3 etcdctl --endpoints=http://127.0.0.1:2379 del --prefix /registry/events/。Kubernetes 本身不依赖长期事件存档,清理后控制器会重建必要事件
  • 谨慎操作:/registry/pods//registry/nodes/ 等核心路径绝对不要用 --prefix 删除,否则导致集群失联

预防再次发生(必须做)

临时清理只能救急,K3s 启动参数需固化配置:

  • /etc/rancher/k3s/config.yaml 中添加:
    etcd-experimental-backup-lease-duration: "60s"
    etcd-quota-backend-bytes: 8589934592(即 8GB)
    etcd-auto-compaction-retention: "1h"
  • 重启 K3s:sudo systemctl restart k3s,新配置生效后,etcd 每小时自动压缩一次,并将上限提升至 8GB,大幅降低满盘风险
  • 建议同步开启定期快照:etcd-snapshot-schedule-cron: "0 */6 * * *(每6小时)+ etcd-snapshot-dir: "/var/lib/rancher/k3s/server/db/snapshots"

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

412

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

533

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

310

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

74

2025.09.10

discuz database error怎么解决
discuz database error怎么解决

discuz database error的解决办法有:1、检查数据库配置;2、确保数据库服务器正在运行;3、检查数据库表状态;4、备份数据;5、清理缓存;6、重新安装Discuz;7、检查服务器资源;8、联系Discuz官方支持。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

210

2023.11.20

Golang云原生微服务Kubernetes_Golang怎么集成Kubernetes开发云原生服务
Golang云原生微服务Kubernetes_Golang怎么集成Kubernetes开发云原生服务

Golang云原生微服务Kubernetes (K8s) 是指 使用 Go 语言(Golang)编写的云原生微服务,并利用 Kubernetes 平台进行容器化部署、自动化管理、弹性伸缩和高效编排的一整套现代应用架构方案。

24

2025.12.22

http500解决方法
http500解决方法

http500解决方法有检查服务器日志、检查代码错误、检查服务器配置、检查文件和目录权限、检查资源不足、更新软件版本、重启服务器或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

358

2023.11.09

http请求415错误怎么解决
http请求415错误怎么解决

解决方法:1、检查请求头中的Content-Type;2、检查请求体中的数据格式;3、使用适当的编码格式;4、使用适当的请求方法;5、检查服务器端的支持情况。更多http请求415错误怎么解决的相关内容,可以阅读下面的文章。

410

2023.11.14

高德地图升级方法汇总
高德地图升级方法汇总

本专题整合了高德地图升级相关教程,阅读专题下面的文章了解更多详细内容。

72

2026.01.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 8.3万人学习

JS进阶与BootStrap学习
JS进阶与BootStrap学习

共39课时 | 3.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号