0

0

C# Raft协议日志文件 C#如何为分布式共识算法实现持久化日志

畫卷琴夢

畫卷琴夢

发布时间:2026-02-21 10:45:11

|

963人浏览过

|

来源于php中文网

原创

raft日志需原子写入与校验:用filemode.create打开文件,头部含crc32与长度,flush(true)强刷,失败则截断;索引与偏移分离,内存dictionary映射,扫描重建;快照截断用setlength并重置索引;windows需native flushfilebuffers保障落盘。

c# raft协议日志文件 c#如何为分布式共识算法实现持久化日志

日志文件必须支持原子写入和校验

Raft 要求日志条目一旦 AppendEntries 返回成功,就必须持久化——否则节点重启后可能丢失已提交条目,直接破坏安全性。C# 默认的 FileStream.Write 不保证原子性,尤其在断电或崩溃时容易写入半条记录。

实操建议:

  • FileMode.Create + FileAccess.Write + FileShare.None 打开文件,避免并发写冲突
  • 每条日志前加固定长度头(如 8 字节:4 字节 CRC32 + 4 字节长度),写入时先写头、再写内容、最后调用 Flush(true) 强刷到磁盘
  • 不要用 StreamWriter,它带缓冲且不暴露底层 FileStreamFlush(true) 控制权
  • 写入后立即验证头是否可解析,失败则截断文件末尾——这是恢复阶段判断“最后有效条目”的依据

索引与偏移需分离存储,不能只靠文件位置

Raft 日志需要按 index 随机查找(例如 GetEntryAt(index)),但文件是顺序追加的,直接用 index 当字节偏移会出错:不同条目长度不同,且中间可能有损坏或截断。

实操建议:

  • 维护一个内存中 Dictionary<long long></long>index → 文件偏移),写入新条目时更新;重启时从头扫描日志重建该映射
  • 扫描时跳过无法校验 CRC 的条目,将其后所有条目视为无效(Raft 要求日志连续,不接受空洞)
  • 避免把索引单独存成另一个文件——多文件 I/O 增加崩溃不一致风险;单文件 + 内存索引是更稳妥的选择

快照(Snapshot)必须与日志文件协同截断

当节点安装快照后,要删除 snapshot.LastIndex 之前的所有日志条目。但如果只删文件内容,而没同步更新索引映射,后续 GetEntryAt 就会读到错误偏移甚至抛 IOException

SauceNAO
SauceNAO

SauceNAO是一个专注于动漫领域的以图搜图工具

下载

实操建议:

  • 截断日志文件用 FileStream.SetLength(newLength),不是 Delete + Create —— 后者在 Windows 上可能触发文件句柄失效
  • 截断后立刻清空并重建内存索引映射,从新文件头开始重新扫描
  • 快照元数据(如 snapshot.LastIndexsnapshot.Term)必须写入独立的 snapshot.meta 文件,并用原子重命名(File.Move(temp, final))保证可见性

Windows 上 Flush(true) 不等于落盘,得看存储栈

即使调用了 FileStream.Flush(true),某些 SSD 或虚拟机磁盘驱动仍可能缓存写入,导致崩溃后丢失最后几条日志。这不是 C# 的 bug,而是硬件/驱动行为。

实操建议:

  • 生产环境务必启用 FILE_FLAG_NO_BUFFERING(通过 P/Invoke 调用 CreateFile),但这要求读写对齐到扇区边界(通常 512 字节),需手动 padding
  • 更实用的做法:在关键路径(如 Leader 提交日志后)加一次 NativeMethods.FlushFileBuffers(handle),比纯托管 Flush(true) 更可靠
  • 测试时用 fsutil behavior set disablelastaccess 1 关闭时间戳更新,减少干扰;用 sync 命令(WSL)或拔电源模拟崩溃,验证日志恢复逻辑

真正难的不是写进文件,而是让“写成功”这个语义在各种崩溃场景下都成立——校验、截断、索引、刷盘,每个环节都得对齐 Raft 的安全假设,少一环就可能在半夜三点触发脑裂。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

396

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

247

2023.10.07

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

421

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

594

2023.08.10

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

421

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

594

2023.08.10

数据库Delete用法
数据库Delete用法

数据库Delete用法:1、删除单条记录;2、删除多条记录;3、删除所有记录;4、删除特定条件的记录。更多关于数据库Delete的内容,大家可以访问下面的文章。

287

2023.11.13

drop和delete的区别
drop和delete的区别

drop和delete的区别:1、功能与用途;2、操作对象;3、可逆性;4、空间释放;5、执行速度与效率;6、与其他命令的交互;7、影响的持久性;8、语法和执行;9、触发器与约束;10、事务处理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.12.29

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

796

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C# 教程
C# 教程

共94课时 | 9.9万人学习

C 教程
C 教程

共75课时 | 4.9万人学习

C++教程
C++教程

共115课时 | 18.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号