答案是通过Docker API实时读取容器日志流，使用Go的docker/docker库连接Docker Daemon，调用ContainerLogs接口持续获取stdout/stderr日志，并结合Events API监听容器启停事件，实现多容器日志动态采集与处理。
在Golang中实现容器日志的实时采集，核心思路是通过监听容器的标准输出（stdout/stderr），并将其持续读取、解析和转发。Docker等容器运行时默认将容器日志写入本地文件或通过日志驱动外发，而最直接的方式是利用 Docker API 实时获取日志流。
使用 Docker API 实时读取日志
Go 可以通过官方提供的 docker/docker 客户端库与 Docker 守护进程通信，获取指定容器的日志输出流。
关键步骤：
- 连接到本地 Docker Daemon（通过 Unix Socket 或 TCP）
- 调用 ContainerLogs 接口，设置
Follow: true和Stdout/Stderr: true - 持续读取返回的 IO 流，逐行处理日志内容
client, err := docker.NewClient("unix:///var/run/docker.sock")
if err != nil {
log.Fatal(err)
}
options := docker.LogsOptions{
Container: "your-container-id",
Follow: true,
Stdout: true,
Stderr: true,
Tail: "10", // 可选：从最近10行开始
RawTerminal: false,
Timestamps: true,
}
reader, err := client.Logs(options)
if err != nil {
log.Fatal(err)
}
defer reader.Close()
scanner := bufio.NewScanner(reader)
for scanner.Scan() {
fmt.Println("Log:", scanner.Text())
// 可在此处做结构化解析、发送到 Kafka、写入 ES 等
}
处理多容器与动态发现
生产环境中通常需要采集多个容器的日志。可以通过以下方式扩展：
立即学习“go语言免费学习笔记（深入）”；
- 调用 client.ListContainers() 获取当前所有运行中的容器
- 对每个容器启动一个 goroutine 执行日志采集
- 使用事件监听（Events API）监控容器的启动和停止，动态增减采集任务
例如，监听容器 start 事件：
eventChan, errChan := client.Events(docker.EventsOptions{})
go func() {
for {
select {
case event := <-eventChan:
if event.Status == "start" {
go tailContainerLogs(event.ID)
}
case err := <-errChan:
log.Printf("Event error: %v", err)
}
}
}()
日志解析与输出
原始日志通常是带时间戳的文本流。可以根据业务需求进行结构化处理：
- 使用正则表达式提取时间、级别、消息体
- 转换为 JSON 格式便于后续处理
- 输出到本地文件、网络服务、Kafka、Elasticsearch 等
示例：简单解析日志行
re := regexp.MustCompile(`^(\S+) (.*)$`)
parts := re.FindStringSubmatch(line)
if len(parts) == 3 {
timestamp := parts[1]
message := parts[2]
log.Printf("Time: %s, Msg: %s", timestamp, message)
}
注意事项与优化
实际应用中需考虑稳定性与性能：
- 添加重连机制，防止 Docker 重启导致中断
- 限制并发 goroutine 数量，避免资源耗尽
- 使用 ring buffer 或 channel 控制日志处理速度
- 支持日志截断、轮转、背压处理
- 考虑使用 containerd 或 CRI 接口对接更底层运行时
基本上就这些。Go 结合 Docker API 能高效实现轻量级日志采集器，适合嵌入到运维工具或 Agent 中。关键是保持连接稳定、处理好并发和异常。不复杂但容易忽略细节。
