Go语言并发优化大文件Zip压缩实践指南

package main

import (
    "archive/zip"
    "io"
    "os"
    "sync"
)

// ZipWriter 函数负责在一个独立的goroutine中顺序写入Zip文件
// 它接收一个文件通道，并返回一个sync.WaitGroup用于同步。
func ZipWriter(files chan *os.File) *sync.WaitGroup {
    // 1. 创建输出Zip文件
    f, err := os.Create("out.zip")
    if err != nil {
        panic(err) // 生产环境中应进行更完善的错误处理
    }

    var wg sync.WaitGroup
    wg.Add(1) // 增加计数，表示Zip写入goroutine正在运行

    // 2. 初始化zip.Writer
    zw := zip.NewWriter(f)

    // 3. 启动Zip写入Goroutine
    go func() {
        // 注意defer的LIFO（后进先出）顺序：
        // 2. wg.Done() 在最后执行，表示所有操作完成
        defer wg.Done()
        // 1. f.Close() 在 zw.Close() 之后执行，确保Zip写入完整
        defer f.Close()

        var err error
        var fw io.Writer
        for fileToZip := range files { // 循环直到通道关闭
            // 为每个文件在Zip归档中创建一个条目
            if fw, err = zw.Create(fileToZip.Name()); err != nil {
                panic(err)
            }
            // 将文件内容复制到Zip条目
            io.Copy(fw, fileToZip)
            // 关闭源文件，释放资源
            if err = fileToZip.Close(); err != nil {
                panic(err)
            }
        }
        // 通道关闭后，跳出循环。必须先关闭zip.Writer
        if err = zw.Close(); err != nil {
            panic(err)
        }
    }()
    return &wg
}

func main() {
    // 创建一个文件通道，用于在文件读取goroutines和Zip写入goroutine之间传递文件句柄
    files := make(chan *os.File)
    // 启动Zip写入goroutine，并获取其WaitGroup
    zipWriterWg := ZipWriter(files)

    // 用于等待所有文件读取goroutines完成的WaitGroup
    var fileReadersWg sync.WaitGroup
    // 根据命令行参数确定要压缩的文件数量
    fileReadersWg.Add(len(os.Args) - 1)

    // 遍历命令行参数，为每个文件启动一个读取goroutine
    for i, name := range os.Args {
        if i == 0 { // 跳过程序本身的名称
            continue
        }
        // 4. 并行读取每个文件
        go func(fileName string) {
            defer fileReadersWg.Done() // 文件读取完成后通知WaitGroup
            f, err := os.Open(fileName)
            if err != nil {
                panic(err)
            }
            // 将打开的文件句柄发送到通道
            files <- f
        }(fileName)
    }

    // 等待所有文件读取goroutines完成
    fileReadersWg.Wait()
    // 6. 一旦所有文件都已发送到通道，关闭通道
    // 这会通知ZipWriter goroutine通道已耗尽，可以停止接收文件。
    close(files)

    // 8. 等待Zip写入goroutine完成所有操作（包括关闭zip.Writer和输出文件）
    zipWriterWg.Wait()
    // 12. 所有操作完成后，主程序可以安全退出
}