推荐用 json lines 格式存储键值对,每行一个带 key、value、timestamp 的对象,支持流式读写和增量更新;禁用 binaryformatter,改用 messagepack 或自定义二进制格式;并发需细粒度锁+标记删除;key 需规范化编码并统一 utf-8。

用 System.Text.Json 做轻量键值存储,别直接序列化整个字典
直接把 Dictionary<string object></string> 序列化成 JSON 写入文件看似简单,但实际会出问题:类型丢失(比如 DateTime 变成字符串)、嵌套结构难维护、并发写入时整个文件重写效率低。更稳妥的做法是把每个键值对单独序列化为一行 JSON(即 JSON Lines 格式),或用固定结构的包装类。
推荐结构:
{
"key": "user_123",
"value": { "name": "Alice", "score": 95 },
"timestamp": "2024-06-15T10:22:33Z"
}这样读取时可用 File.ReadLines() 流式解析,增删改只操作对应行(配合临时文件替换),避免加载全部数据到内存。
- 写入用
JsonSerializer.SerializeToUtf8Bytes()+FileStream.Write(),减少字符串分配 - 读取单个 key 时,用
yield return遍历行,匹配后立即返回,不全加载 - 不要用
File.WriteAllText()覆盖整个文件——这是性能和可靠性杀手
二进制方案选 BinaryFormatter?千万别
BinaryFormatter 已被微软标记为过时且不安全,反序列化任意二进制数据可能触发远程代码执行。即便你完全控制数据源,也应避开它。
替代方案有二:
- 用
System.Text.Json+MemoryStream+Span<byte></byte>手动拼接键长/值长/数据块,实现紧凑二进制格式(适合追求极致体积) - 更实用的是
MessagePack(NuGet 包MsgPack.CSharp):序列化体积比 JSON 小 30–50%,保留类型信息,API 接近JsonSerializer
例如存一个 (string key, byte[] value) 对:
var buffer = MessagePackSerializer.Serialize(new { k = key, v = value });注意:MessagePack 默认不支持 DateTimeKind.Unspecified,需配置 MessagePackSerializerOptions.Standard.WithResolver(...) 显式处理。
并发写入时必须加锁,但别锁整个文件操作
多个线程同时写同一个 JSON Lines 文件,会导致内容错乱(如两行合并成一行)。不能靠 lock(obj) 包裹整个 File.AppendAllText() —— 这会让所有写请求排队,吞吐骤降。
- 用
FileStream打开文件时指定FileShare.Read,并设置FileOptions.Asynchronous - 写入前用
Monitor.TryEnter(_writeLock, timeoutMs)控制临界区,超时则退避重试 - 删除 key 时,不物理删行,而写入一条
{"key":"xxx","deleted":true}标记,读取时跳过——简化并发逻辑
如果真需要高并发,这个“文件数据库”就该让位给 LiteDB 或 SQLite —— 它们底层已做页级锁和 WAL 日志。
JSON 键名大小写和路径分隔符容易踩坑
Windows 文件系统不区分大小写,但 JSON key 是区分的:"UserId" 和 "userid" 在解析后是两个不同键。若业务上认为它们等价,必须在存取前统一转小写或驼峰规则。
另一个常见问题:用路径当 key(如 "config/users/alice.json")时,斜杠在 Windows 下可能引发 DirectoryNotFoundException(因为尝试创建子目录)。解决方案:
- key 中禁止出现
/ \ : * ? " |等非法字符,用Uri.EscapeDataString()编码 - 或直接用 SHA256 哈希代替原始路径,再存映射关系(额外占一点空间,但彻底规避路径问题)
最常被忽略的是 JSON 字符编码:确保始终用 UTF-8(无 BOM),否则某些旧工具读取时会把  当作 key 前缀。










