优化Go App Engine中Blobstore大文件Zip服务的内存效率

import (
    "archive/zip"
    "context"
    "io"
    "net/http"

    "google.golang.org/appengine"
    "google.golang.org/appengine/blobstore"
)

// serveLargeZipInefficient 示例：内存效率低下的Zip文件服务方法
func serveLargeZipInefficient(w http.ResponseWriter, r *http.Request, keys []appengine.BlobKey) {
    c := appengine.NewContext(r)

    w.Header().Set("Content-Type", "application/zip")
    w.Header().Set("Content-Disposition", "attachment;filename=photos.zip")

    writer := zip.NewWriter(w)
    defer writer.Close() // 确保在函数结束时关闭Zip writer

    for _, key := range keys {
        info, err := blobstore.Stat(c, key)
        if err != nil {
            http.Error(w, err.Error(), http.StatusInternalServerError)
            return
        }

        // 在Zip文件中创建一个新的文件条目
        wr, err := writer.Create(info.Filename)
        if err != nil {
            http.Error(w, err.Error(), http.StatusInternalServerError)
            return
        }

        // 从Blobstore读取原始图片内容
        reader := blobstore.NewReader(c, key)
        // 将图片内容复制到Zip文件条目中，这可能导致内存缓冲
        if _, err := io.Copy(wr, reader); err != nil {
            http.Error(w, err.Error(), http.StatusInternalServerError)
            return
        }
    }
}

import (
    "archive/zip"
    "context"
    "io"
    "net/http" // 仅为示例，实际无需在此函数中使用http包

    "google.golang.org/appengine"
    "google.golang.org/appengine/blobstore"
)

// createZipInBlobstore 负责将指定BlobKeys对应的文件打包成Zip并存储到Blobstore中
// 返回新创建的Zip文件的BlobKey和潜在错误
func createZipInBlobstore(ctx context.Context, imageKeys []appengine.BlobKey, zipFilename string) (appengine.BlobKey, error) {
    // 创建一个blobstore.Writer，它会将数据直接写入Blobstore
    blobWriter := blobstore.NewWriter(ctx, "application/zip")
    // defer blobWriter.Close() // 延迟关闭，但在zipWriter.Close()之后手动关闭更安全

    zipWriter := zip.NewWriter(blobWriter) // 将zip.Writer的目标设置为blobstore.Writer
    // defer zipWriter.Close() // 延迟关闭，但手动关闭以捕获错误

    for _, key := range imageKeys {
        info, err := blobstore.Stat(ctx, key)
        if err != nil {
            // 如果文件不存在或无法访问，返回错误
            return "", err
        }

        // 在Zip文件中创建一个新的文件条目
        header := &zip.FileHeader{
            Name:     info.Filename,
            Method:   zip.Deflate, // 或者 zip.Store，根据需求选择压缩方式
            Modified: info.Creation,
        }
        wr, err := zipWriter.CreateHeader(header)
        if err != nil {
            return "", err
        }

        // 从Blobstore读取原始图片内容
        reader := blobstore.NewReader(ctx, key)
        // 将图片内容直接复制到Zip文件条目中，该条目最终会写入blobstore.Writer
        if _, err := io.Copy(wr, reader); err != nil {
            return "", err
        }
    }

    // 确保所有Zip文件内容都已写入到blobWriter
    if err := zipWriter.Close(); err != nil {
        return "", err
    }
    // 关闭blobWriter，完成Blobstore文件的创建并获取BlobKey
    if err := blobWriter.Close(); err != nil {
        return "", err
    }

    return blobWriter.Key(), nil
}

import (
    "context"
    "net/http"

    "google.golang.org/appengine"
    "google.golang.org/appengine/blobstore"
)

// serveZipFromBlobstore 负责从Blobstore服务指定的Zip文件
func serveZipFromBlobstore(w http.ResponseWriter, r *http.Request, zipBlobKey appengine.BlobKey, filename string) {
    // 设置Content-Disposition头，确保浏览器下载时使用正确的MIME类型和文件名
    // Blobstore.Send会自动设置Content-Type，通常为创建Blob时指定的MIME类型
    w.Header().Set("Content-Disposition", "attachment; filename=\""+filename+"\"")

    // 使用blobstore.Send直接将Zip文件发送给客户端
    // App Engine实例在此过程中不会消耗大量内存
    blobstore.Send(w, zipBlobKey)
}