关键不是“要不要缓存”,而是“缓存什么、什么时候失效、谁来清理”;用 sync.Map + 文件修改时间做轻量级缓存适合中小规模 Web 服务。

为什么 os.File 不能直接当缓存载体
文件内容读取后若每次请求都 os.Open + io.ReadAll,性能会随并发陡降。但把整个文件内容塞进内存(比如用 map[string][]byte)又容易触发 OOM,尤其面对 MB 级配置文件或模板。关键不是“要不要缓存”,而是“缓存什么、什么时候失效、谁来清理”。
用 sync.Map + 文件修改时间做轻量级缓存
适合中小规模 Web 服务(QPS os.FileInfo.ModTime(),每次读前比对磁盘最新时间戳。
- 只缓存解析后的结构体(如
json.RawMessage或自定义 struct),不是原始字节 - 键名用文件绝对路径(
filepath.Abs处理相对路径),避免软链接导致的重复缓存 - 不主动启动 goroutine 定时扫描——改用「懒检查」:每次 Get 前
os.Stat对比时间戳 - 注意
sync.Map的LoadOrStore返回值是(interface{}, bool),第二个 bool 表示是否新存入,别误当“是否命中”
var fileCache sync.Map // map[string]cacheEntrytype cacheEntry struct { data interface{} modTime time.Time }
func LoadFileAsJSON(path string, v interface{}) error { absPath, _ := filepath.Abs(path) fi, err := os.Stat(absPath) if err != nil { return err }
if raw, ok := fileCache.Load(absPath); ok { if entry, ok := raw.(cacheEntry); ok && entry.modTime.Equal(fi.ModTime()) { b, _ := json.Marshal(entry.data) return json.Unmarshal(b, v) } } b, err := os.ReadFile(absPath) if err != nil { return err } if err := json.Unmarshal(b, v); err != nil { return err } fileCache.Store(absPath, cacheEntry{ data: v, modTime: fi.ModTime(), }) return nil}
大文件或高并发场景必须加锁粒度控制
当多个 goroutine 同时首次加载同一文件,
sync.Map.LoadOrStore虽线程安全,但无法阻止多次重复读盘和反序列化。此时需用singleflight.Group消除惊群效应。立即学习“go语言免费学习笔记(深入)”;
-
singleflight的 key 必须包含文件路径,但不要带查询参数(如config.json?v=123)——应提前 Normalize -
回调函数里仍要校验
ModTime,因为 singleflight 不保证调用时机,可能两次请求间隔中文件已被修改 - 缓存过期不靠 TTL,而靠
ModTime变更;所以不用设time.Now().Add(5 * time.Minute)这类逻辑
var loadGroup singleflight.Groupfunc LoadFileWithDedup(path string, v interface{}) error { absPath, _ := filepath.Abs(path) fi, err := os.Stat(absPath) if err != nil { return err }
// 先查缓存,命中且时间一致则直接返回 if raw, ok := fileCache.Load(absPath); ok { if entry, ok := raw.(cacheEntry); ok && entry.modTime.Equal(fi.ModTime()) { *(*interface{})(unsafe.Pointer(&v)) = entry.data return nil } } // 未命中,走 singleflight 防止重复加载 res, err, _ := loadGroup.Do(absPath, func() (interface{}, error) { b, err := os.ReadFile(absPath) if err != nil { return nil, err } var data interface{} if err := json.Unmarshal(b, &data); err != nil { return nil, err } fileCache.Store(absPath, cacheEntry{ data: data, modTime: fi.ModTime(), }) return data, nil }) if err == nil { *(*interface{})(unsafe.Pointer(&v)) = res } return err}
别忽略
syscall.EBADF和文件删除竞态线上环境常有部署脚本热更配置文件:先删旧文件,再写新文件。此时若缓存中还存着已删除文件的
*os.File(比如你错误地缓存了打开的句柄),后续Read就会报EBADF。更隐蔽的是:os.Stat对已删除但未关闭的文件仍返回旧信息,导致缓存长期不更新。
- 永远不要缓存
*os.File,只缓存内容或解析结果 - 如果必须用
os.Open流式处理大文件,确保 deferClose,且不在闭包中逃逸 - 对敏感配置文件(如 TLS 证书),建议加一层
os.SameFile校验:缓存中的dev/inode是否与当前磁盘文件一致
真正难处理的从来不是“怎么缓存”,而是“怎么知道它已经不该再用了”。时间戳只是近似手段,inode 才是唯一标识——但跨文件系统时 inode 会变,所以最终还得结合业务语义做兜底,比如给配置加版本号字段。










