0

0

C#实现简单的文件数据库 C#如何用JSON或二进制文件模拟键值存储

幻夢星雲

幻夢星雲

发布时间:2026-03-12 12:38:44

|

585人浏览过

|

来源于php中文网

原创

推荐用 json lines 格式存储键值对,每行一个带 key、value、timestamp 的对象,支持流式读写和增量更新;禁用 binaryformatter,改用 messagepack 或自定义二进制格式;并发需细粒度锁+标记删除;key 需规范化编码并统一 utf-8。

c#实现简单的文件数据库 c#如何用json或二进制文件模拟键值存储

System.Text.Json 做轻量键值存储,别直接序列化整个字典

直接把 Dictionary<string object></string> 序列化成 JSON 写入文件看似简单,但实际会出问题:类型丢失(比如 DateTime 变成字符串)、嵌套结构难维护、并发写入时整个文件重写效率低。更稳妥的做法是把每个键值对单独序列化为一行 JSON(即 JSON Lines 格式),或用固定结构的包装类。

推荐结构:

{
  "key": "user_123",
  "value": { "name": "Alice", "score": 95 },
  "timestamp": "2024-06-15T10:22:33Z"
}

这样读取时可用 File.ReadLines() 流式解析,增删改只操作对应行(配合临时文件替换),避免加载全部数据到内存。

  • 写入用 JsonSerializer.SerializeToUtf8Bytes() + FileStream.Write(),减少字符串分配
  • 读取单个 key 时,用 yield return 遍历行,匹配后立即返回,不全加载
  • 不要用 File.WriteAllText() 覆盖整个文件——这是性能和可靠性杀手

二进制方案选 BinaryFormatter?千万别

BinaryFormatter 已被微软标记为过时且不安全,反序列化任意二进制数据可能触发远程代码执行。即便你完全控制数据源,也应避开它。

替代方案有二:

  • System.Text.Json + MemoryStream + Span<byte></byte> 手动拼接键长/值长/数据块,实现紧凑二进制格式(适合追求极致体积)
  • 更实用的是 MessagePack(NuGet 包 MsgPack.CSharp):序列化体积比 JSON 小 30–50%,保留类型信息,API 接近 JsonSerializer

例如存一个 (string key, byte[] value) 对:

人民网AIGC-X
人民网AIGC-X

国内科研机构联合推出的AI生成内容检测工具

下载
var buffer = MessagePackSerializer.Serialize(new { k = key, v = value });

注意:MessagePack 默认不支持 DateTimeKind.Unspecified,需配置 MessagePackSerializerOptions.Standard.WithResolver(...) 显式处理。

并发写入时必须加锁,但别锁整个文件操作

多个线程同时写同一个 JSON Lines 文件,会导致内容错乱(如两行合并成一行)。不能靠 lock(obj) 包裹整个 File.AppendAllText() —— 这会让所有写请求排队,吞吐骤降。

  • FileStream 打开文件时指定 FileShare.Read,并设置 FileOptions.Asynchronous
  • 写入前用 Monitor.TryEnter(_writeLock, timeoutMs) 控制临界区,超时则退避重试
  • 删除 key 时,不物理删行,而写入一条 {"key":"xxx","deleted":true} 标记,读取时跳过——简化并发逻辑

如果真需要高并发,这个“文件数据库”就该让位给 LiteDB 或 SQLite —— 它们底层已做页级锁和 WAL 日志。

JSON 键名大小写和路径分隔符容易踩坑

Windows 文件系统不区分大小写,但 JSON key 是区分的:"UserId""userid" 在解析后是两个不同键。若业务上认为它们等价,必须在存取前统一转小写或驼峰规则。

另一个常见问题:用路径当 key(如 "config/users/alice.json")时,斜杠在 Windows 下可能引发 DirectoryNotFoundException(因为尝试创建子目录)。解决方案:

  • key 中禁止出现 / \ : * ? " | 等非法字符,用 Uri.EscapeDataString() 编码
  • 或直接用 SHA256 哈希代替原始路径,再存映射关系(额外占一点空间,但彻底规避路径问题)

最常被忽略的是 JSON 字符编码:确保始终用 UTF-8(无 BOM),否则某些旧工具读取时会把  当作 key 前缀。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

455

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

546

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

334

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

82

2025.09.10

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1010

2023.08.02

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

760

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1566

2023.10.24

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C# 教程
C# 教程

共94课时 | 11.1万人学习

C 教程
C 教程

共75课时 | 5.4万人学习

C++教程
C++教程

共115课时 | 21.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号