io.Copy 是合并多个文件最直接可靠的选择,它通过固定缓冲区流式处理避免内存溢出,需正确打开文件、控制顺序、过滤空文件、校验完整性并保证原子性。

合并多个文件时,io.Copy 是最直接可靠的选择
Go 标准库的 io.Copy 本质是高效地将一个 io.Reader 的全部内容写入 io.Writer,底层使用固定大小缓冲区(默认 32KB),避免内存爆炸。它不关心数据来源或去向——只要源是 *os.File、bytes.Reader 或其他实现了 Reader 接口的类型,目标是 *os.File 或 io.MultiWriter 等,就能用。
常见错误是试图手动读取整个文件到内存再拼接(比如用 os.ReadFile + append),这对大文件极易 OOM;也有人误用 io.MultiReader 想“组合多个 Reader”,但它只是顺序暴露,不自动写入目标文件。
- 始终用
io.Copy流式处理,而不是一次性加载 - 打开源文件后必须
defer src.Close(),否则句柄泄漏 - 目标文件需以
os.O_CREATE | os.O_WRONLY | os.O_APPEND模式打开,确保追加写入
按指定顺序合并多个 *os.File 到单个输出文件
典型场景:日志轮转文件 app.log.1、app.log.2、app.log 需按时间倒序合并为 merged.log。关键点在于控制打开顺序和写入时机,而非并发。
func mergeFilesOrdered(dstPath string, srcPaths []string) error {
dst, err := os.OpenFile(dstPath, os.O_CREATE|os.O_WRONLY|os.O_TRUNC, 0644)
if err != nil {
return err
}
defer dst.Close()
for _, srcPath := range srcPaths {
src, err := os.Open(srcPath)
if err != nil {
return fmt.Errorf("failed to open %s: %w", srcPath, err)
}
if _, err := io.Copy(dst, src); err != nil {
src.Close()
return fmt.Errorf("failed to copy %s: %w", srcPath, err)
}
src.Close()
}
return nil
}
注意:os.O_TRUNC 在首次打开目标文件时清空内容;若要追加到已有文件,改用 os.O_APPEND 并确保文件已存在。路径顺序即写入顺序,无需额外排序逻辑。
立即学习“go语言免费学习笔记(深入)”;
合并时跳过空文件或校验失败的文件
生产环境中,源文件可能为空、损坏或权限不足。os.Stat 可提前过滤掉空文件(Size() == 0),而 io.Copy 自身遇到 I/O 错误会立即返回,无需额外 try-catch。
- 用
os.Stat(path).Size()判断是否为空,避免无意义的 open/copy 开销 - 对敏感文件(如含哈希摘要的
.sha256),可在 copy 前用crypto/sha256校验源文件完整性 - 权限问题通常在
os.Open阶段暴露,错误信息含"permission denied",可针对性提示
大文件合并时的性能与资源控制
默认 io.Copy 使用 32KB 缓冲区,对 SSD 或高速网络文件系统足够;但若合并数百 GB 文件且内存受限,可显式传入自定义缓冲区:
buf := make([]byte, 1024*1024) // 1MB buffer
if _, err := io.CopyBuffer(dst, src, buf); err != nil {
// handle error
}
缓冲区过大未必更快(受磁盘寻道、系统 page cache 影响),一般 1MB 是较稳妥的上界。更关键的是避免同时打开过多文件——Go 默认文件描述符限制常为 1024,若源文件超限,需用 runtime.LockOSThread() + 手动 close 控制生命周期,或分批处理。
真正容易被忽略的是:合并过程中程序崩溃,目标文件可能处于中间状态。务必在开始前生成临时文件(如 merged.log.tmp),全部成功后再 os.Rename 覆盖原文件,保证原子性。










