Go并发文件处理需拆分任务、隔离资源、协调流程：多goroutine读多个独立文件，写入时分离目标或单协程汇总；大文件用worker pool流水线处理，注意I/O性能与竞态避坑。
在 Go 中实现并发文件处理，核心是合理使用 goroutine 和 channel 配合文件 I/O 操作，但要注意：文件读写本身不是完全线程安全的，多个 goroutine 直接并发读写同一个文件句柄容易导致数据错乱或 panic。因此关键不在于“让多个协程同时读写同一文件”，而在于“拆分任务、隔离资源、协调流程”。
用 goroutine 并发读取多个文件
适合批量处理日志、配置、数据 CSV 等多个独立文件的场景。每个文件由单独 goroutine 打开、读取、解析，结果通过 channel 汇总。
- 为每个文件启动一个 goroutine，避免阻塞主流程
- 使用 os.Open（非 os.OpenFile）只读打开，减少锁竞争
- 读取后立即关闭文件句柄（defer f.Close()），防止 fd 耗尽
- 用带缓冲的 channel（如 make(chan Result, len(files))）接收结果，避免 goroutine 阻塞
用 goroutine 并发写入多个文件（或分片写入）
不要让多个 goroutine 同时往同一个 *os.File.Write 写；而是按逻辑分离目标：
- 每个 goroutine 写入不同文件（如按日期/ID 分片生成 output_001.json、output_002.json）
- 或先在内存中完成各自部分的处理（如 []byte 或 struct），再统一由一个 goroutine 序列化写入单个文件
- 若必须并发追加，可用 os.O_APPEND | os.O_WRONLY 打开文件，Linux 下 write 系统调用保证原子追加（注意：仅限单次 write 调用，且不适用于覆盖/随机写）
用 worker pool 控制并发度 + 文件流水线处理
对大文件切块、或需解析+转换+保存的链式任务，推荐经典生产者-消费者模型：
立即学习“go语言免费学习笔记（深入）”；
- 生产者 goroutine：用 bufio.Scanner 或 bytes.Split 逐行/按块读取源文件，将每条记录（string / []byte / 自定义 struct）发到 jobs chan
- 固定数量 worker goroutine：从 jobs 取任务 → 处理（如 JSON 解析、字段过滤）→ 发结果到 results chan
- 收集 goroutine：从 results 接收，用 sync.Mutex 或 buffered writer 安全写入目标文件
- 用 sync.WaitGroup 等待所有 job 完成，再 close channels
注意事项与避坑点
Go 的文件操作底层依赖系统调用，实际并发收益受磁盘 I/O、OS 缓存、文件大小影响较大：
