Go语言中实现高效并行压缩大型文件集合的教程

package main

import (
    "archive/zip"
    "io"
    "os"
    "sync"
    "log" // 引入log包用于更友好的错误处理
)

// ZipWriter 负责接收文件并将其写入ZIP归档
func ZipWriter(files chan *os.File, outputFileName string) *sync.WaitGroup {
    // 1. 创建输出ZIP文件
    f, err := os.Create(outputFileName)
    if err != nil {
        log.Fatalf("无法创建输出文件 %s: %v", outputFileName, err)
    }

    var wg sync.WaitGroup
    wg.Add(1) // 增加一个计数，表示ZipWriter协程正在运行

    // 2. 创建zip.Writer实例
    zw := zip.NewWriter(f)

    go func() {
        // 确保在协程结束时正确关闭资源。
        // 注意defer的LIFO（后进先出）顺序：
        // 1. 先关闭zip.Writer，确保所有文件条目完成写入。
        // 2. 后关闭输出文件句柄。
        defer wg.Done() // 3. 发出完成信号
        defer func() {
            if err := zw.Close(); err != nil {
                log.Printf("关闭zip.Writer时发生错误: %v", err)
            }
        }() // 2. 关闭zip writer
        defer func() {
            if err := f.Close(); err != nil {
                log.Printf("关闭输出文件时发生错误: %v", err)
            }
        }() // 1. 关闭输出文件

        var fw io.Writer
        for fileToZip := range files { // 循环直到通道关闭
            // 为每个文件创建ZIP条目
            if fw, err = zw.Create(fileToZip.Name()); err != nil {
                log.Printf("创建ZIP条目 %s 失败: %v", fileToZip.Name(), err)
                // 即使出错也尝试关闭当前文件，然后继续处理下一个
                if closeErr := fileToZip.Close(); closeErr != nil {
                    log.Printf("关闭文件 %s 失败: %v", fileToZip.Name(), closeErr)
                }
                continue
            }
            // 将文件内容拷贝到ZIP条目中
            if _, err = io.Copy(fw, fileToZip); err != nil {
                log.Printf("拷贝文件 %s 内容失败: %v", fileToZip.Name(), err)
            }
            // 关闭已处理的文件，释放资源
            if err = fileToZip.Close(); err != nil {
                log.Printf("关闭文件 %s 失败: %v", fileToZip.Name(), err)
            }
        }
        log.Println("所有文件已从通道接收并处理。")
    }()
    return &wg
}

func main() {
    if len(os.Args) < 2 {
        log.Fatalf("用法: %s <文件1> <文件2> ...", os.Args[0])
    }

    // 创建一个通道，用于在文件读取协程和ZipWriter协程之间传递文件句柄
    filesToProcess := make(chan *os.File)

    // 启动ZipWriter协程
    zipWriterDone := ZipWriter(filesToProcess, "out.zip")

    // 用于等待所有文件读取协程完成的WaitGroup
    var fileReadersWg sync.WaitGroup
    fileReadersWg.Add(len(os.Args) - 1) // 根据命令行参数中的文件数量设置计数

    // 遍历命令行参数，为每个文件启动一个读取协程
    for i, name := range os.Args {
        if i == 0 { // 跳过程序名本身
            continue
        }
        // 并行读取每个文件
        go func(fileName string) {
            defer fileReadersWg.Done() // 确保协程结束时计数器递减
            f, err := os.Open(fileName)
            if err != nil {
                log.Printf("打开文件 %s 失败: %v", fileName, err)
                return // 遇到错误则直接返回，不发送到通道
            }
            // 将打开的文件句柄发送到通道
            filesToProcess <- f
        }(name)
    }

    // 等待所有文件读取协程完成
    fileReadersWg.Wait()
    log.Println("所有文件读取协程已完成，通道即将关闭。")

    // 所有文件都已发送到通道，关闭通道，通知ZipWriter协程停止接收
    close(filesToProcess)

    // 等待ZipWriter协程完成所有压缩和资源关闭工作
    zipWriterDone.Wait()
    log.Println("ZIP文件创建完成。")
}