高并发日志优化核心是稳且可伸缩:通过带缓冲channel异步中转,专用goroutine批量写入,复用LogEntry减少GC,选用zerolog/zap等零分配库,结合bufio.Writer聚合写入,避免频繁syscall与锁竞争,控制日志级别与采样,源头减负。

直接用 log 包同步写文件,高并发下会成为性能瓶颈。优化核心是:避免主线程阻塞 + 减少系统调用 + 控制内存开销。关键不在于“快”,而在于“稳且可伸缩”。
用带缓冲的异步通道做日志中转
不要让业务 goroutine 直接写磁盘。建一个专用日志 goroutine,通过带缓冲 channel 接收日志条目:
- channel 缓冲区大小建议设为 1024–8192,太小易丢日志,太大占内存
- 日志结构体尽量复用(如用
sync.Pool管理LogEntry),避免高频 GC - 接收端用
for range持续消费,批量写入(例如每 16 条或 5ms 触发一次 flush)
选择轻量、零分配的日志库替代标准 log
log 包内部用 fmt.Sprint,每次调用都触发字符串拼接和内存分配。推荐:
-
zerolog:结构化日志,支持预分配 buffer、无反射、无 fmt 调用 -
zap(SugaredLogger 模式慎用):使用Logger原生模式 +WriteSyncer自定义输出,性能更可控 - 自研简易 logger 也可行:用
bytes.Buffer预设容量 +io.WriteString写入,绕过 fmt
文件写入阶段减少 syscall 和锁竞争
避免每个日志都 write() 一次。应聚合后一次性写入:
立即学习“go语言免费学习笔记(深入)”;
- 用
bufio.Writer包裹文件句柄,设置 4KB–32KB 缓冲区 - 按时间轮转日志时,用原子文件替换(
os.Rename)而非追加到不同文件,避免多文件锁争用 - 若需多进程写同一日志(如容器环境),改用 syslog 协议或日志采集 agent(Filebeat / Fluent Bit),由单点落盘
合理控制日志级别与采样,从源头减负
再快的日志系统,也扛不住无节制的 Debug 输出。生产环境必须:
- 默认关闭
Debug级别,用配置热更新(如监听 SIGHUP 或 etcd 变更)动态开关 - 对高频路径日志加采样,比如 “每 100 次请求打 1 条 Debug 日志”
- 避免在循环内打日志;改用聚合统计(如计数器 + 定期上报)代替逐条记录
基本上就这些。异步不是加个 goroutine 就完事,重点在缓冲策略、内存控制、系统调用合并和源头治理。不复杂但容易忽略。











