Go并发日志收集的核心是用channel统一入口、单goroutine串行落盘，配合缓冲、轮转、错误重试和进程退出flush机制，避免锁竞争与数据丢失。
用 Go 实现并发日志收集，关键不是“加锁写文件”，而是避免竞争、控制写入节奏、保障数据不丢不乱。核心思路是：用 channel 做日志消息的统一入口，单 goroutine 串行落盘，配合缓冲、轮转和错误重试机制。
设计一个线程安全的日志写入器
不要让多个 goroutine 直接调用 *os.File.Write。正确做法是启动一个专用的 writer goroutine，它从 channel 接收日志条目，再顺序写入文件。其他业务 goroutine 只负责发送日志（非阻塞或带缓冲），天然解耦。
- 定义日志结构体，含时间、级别、消息、协程 ID（可选）等字段
- 创建带缓冲的 channel（如
chan *LogEntry），容量建议 1024～8192，防突发日志压垮内存 - 启动一个
logWritergoroutine，用for range持续读取 channel，调用file.WriteString或fmt.Fprintln写入，每次写完file.Sync()确保刷盘（若需强持久化） - 提供
Write(entry *LogEntry)方法，内部 select + default 防止阻塞：满时可丢弃低优先级日志，或打 warning
支持日志轮转与多目标输出
生产环境不能无限追加一个文件。轮转逻辑应由 writer goroutine 自主判断，不依赖外部信号。
- 按大小轮转：记录当前文件 size，写入前检查是否超限（如 100MB），超则 close 当前 file，rename 为
app.log.20240515-142300，新建文件 - 按时间轮转：每小时/每天新建文件，用
time.Now().Format("20060102_15")生成文件名 - 多输出目标：writer 内部可同时写文件 + 写 stdout（开发调试）+ 发送 HTTP 到日志中心；用 interface 抽象
Writer，实现FileWriter、StdoutWriter等，统一调度
保障日志不丢失的关键细节
崩溃、OOM、kill -9 都可能导致日志丢失。需在三个层面设防：
立即学习“go语言免费学习笔记（深入）”；
-
内存缓冲可控：channel 缓冲区不宜过大；可改用 ring buffer（如
github.com/Workiva/go-datastructures/queue）限制最大待写日志数 - 写入失败可恢复：writer 中 write 失败（磁盘满、权限错）时，暂停写入、重试 3 次、记录错误到 stderr，并触发告警；必要时将失败日志暂存本地临时文件，恢复后补写
-
进程退出前 flush：监听
os.Interrupt和syscall.SIGTERM，收到信号后关闭 channel、等待 writer 退出、调用file.Close()，确保最后几条日志落盘
轻量级实践示例（无第三方库）
以下是一个最小可行的并发日志写入器骨架：
type LogEntry struct {
Time time.Time
Level string
Msg string
}
type Logger struct {
ch chan *LogEntry
wg sync.WaitGroup
}
func NewLogger(filename string) Logger {
l := &Logger{ch: make(chan LogEntry, 2048)}
go l.writer(filename)
return l
}
func (l Logger) Write(entry LogEntry) {
select {
case l.ch <- entry:
default:
// 缓冲满，丢弃或降级处理
log.Printf("[WARN] log channel full, dropped: %s", entry.Msg)
}
}
func (l *Logger) writer(filename string) {
l.wg.Add(1)
defer l.wg.Done()
var file *os.File
openFile := func() (*os.File, error) {
f, err := os.OpenFile(filename, os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0644)
return f, err
}
var err error
file, err = openFile()
if err != nil {
log.Fatal("failed to open log file:", err)
}
defer file.Close()
for entry := range l.ch {
_, _ = fmt.Fprintf(file, "[%s] %s %s\n",
entry.Time.Format("2006-01-02 15:04:05"),
entry.Level, entry.Msg)
_ = file.Sync() // 强制刷盘
}}
