Go App Engine：高效处理Blobstore大文件动态打包与分发策略

package main

import (
    "archive/zip"
    "context"
    "io"
    "log"
    "net/http"

    "google.golang.org/appengine"
    "google.golang.org/appengine/blobstore"
)

// 假设此函数在一个HTTP处理器中被调用
func serveDynamicZipProblematic(w http.ResponseWriter, r *http.Request, imageKeys []appengine.BlobKey) {
    w.Header().Set("Content-Type", "application/zip")
    w.Header().Set("Content-Disposition", "attachment;filename=photos.zip")

    writer := zip.NewWriter(w)
    defer writer.Close() // 确保zip写入器关闭

    ctx := appengine.NewContext(r)

    for _, key := range imageKeys {
        info, err := blobstore.Stat(ctx, key)
        if err != nil {
            log.Printf("Error stating blob %v: %v", key, err)
            http.Error(w, "Failed to get file info", http.StatusInternalServerError)
            return
        }

        wr, err := writer.Create(info.Filename) // 在ZIP中创建文件条目
        if err != nil {
            log.Printf("Error creating zip entry for %v: %v", info.Filename, err)
            http.Error(w, "Failed to create zip entry", http.StatusInternalServerError)
            return
        }

        reader := blobstore.NewReader(ctx, key) // 从Blobstore读取图片
        defer reader.Close() // 确保Blobstore读取器关闭

        if _, err := io.Copy(wr, reader); err != nil { // 将图片内容复制到ZIP条目
            log.Printf("Error copying blob %v to zip: %v", key, err)
            http.Error(w, "Failed to copy file to zip", http.StatusInternalServerError)
            return
        }
    }
    // writer.Close() 将在这里被 defer 调用，完成ZIP文件写入
}

package main

import (
    "archive/zip"
    "context"
    "io"
    "log"

    "google.golang.org/appengine"
    "google.golang.org/appengine/blobstore"
)

// generateAndStoreZip 从给定的图片BlobKey列表创建ZIP文件，并将其存储到Blobstore。
// 返回新创建的ZIP文件的BlobKey。
func generateAndStoreZip(ctx context.Context, imageBlobKeys []appengine.BlobKey, zipFilename string) (appengine.BlobKey, error) {
    // 1. 创建一个Blobstore写入器，指定MIME类型为application/zip
    bw, err := blobstore.Create(ctx, "application/zip")
    if err != nil {
        log.Printf("Failed to create blobstore writer: %v", err)
        return "", err
    }
    // 注意：不在这里defer bw.Close()，因为我们需要在获取BlobKey之前显式调用它。

    // 2. 创建一个ZIP写入器，它将内容写入到Blobstore写入器中
    zipWriter := zip.NewWriter(bw)
    // 注意：不在这里defer zipWriter.Close()，因为我们需要在bw.Close()之前显式调用它。

    for _, key := range imageBlobKeys {
        // 3. 获取图片文件信息（可选，但有助于设置ZIP中的文件名）
        info, err := blobstore.Stat(ctx, key)
        if err != nil {
            log.Printf("Warning: Failed to stat blob %v: %v. Skipping this file.", key, err)
            continue // 忽略此文件，或根据业务逻辑返回错误
        }

        // 4. 在ZIP档案中为当前图片创建一个文件条目
        header := &zip.FileHeader{
            Name:   info.Filename, // 使用原始文件名
            Method: zip.Deflate,   // 使用Deflate压缩方法
        }
        fileInZip, err := zipWriter.CreateHeader(header)
        if err != nil {
            log.Printf("Failed to create zip entry for %v: %v", info.Filename, err)
            // 此时需要清理资源
            zipWriter.Close()
            bw.Close()
            return "", err
        }

        // 5. 从Blobstore读取图片内容
        imageReader := blobstore.NewReader(ctx, key)
        // 注意：defer imageReader.Close() 在循环内部，确保每个reader及时关闭
        defer imageReader.Close()

        // 6. 将图片内容复制到ZIP条目中
        if _, err := io.Copy(fileInZip, imageReader); err != nil {
            log.Printf("Failed to copy blob %v to zip entry: %v", key, err)
            // 此时需要清理资源
            zipWriter.Close()
            bw.Close()
            return "", err
        }
    }

    // 7. 关闭ZIP写入器，完成ZIP档案的构建
    if err := zipWriter.Close(); err != nil {
        log.Printf("Failed to close zip writer: %v", err)
        bw.Close() // 即使ZIP写入失败，也要尝试关闭Blobstore写入器
        return "", err
    }

    // 8. 关闭Blobstore写入器，完成Blob的创建并获取其BlobKey
    if err := bw.Close(); err != nil {
        log.Printf("Failed to close blobstore writer: %v", err)
        return "", err
    }

    // 9. 获取新创建的ZIP文件的BlobKey
    zipBlobKey, err := bw.Key()
    if err != nil {
        log.Printf("Failed to get blob key after closing writer: %v", err)
        return "", err
    }

    log.Printf("Successfully created zip file with BlobKey: %v", zipBlobKey)
    return zipBlobKey, nil
}

package main

import (
    "context"
    "net/http"

    "google.golang.org/appengine"
    "google.golang.org/appengine/blobstore"
)

// downloadZipHandler 处理ZIP文件的下载请求。
// zipBlobKey 是预先生成并存储在Blobstore中的ZIP文件的BlobKey。
func downloadZipHandler(w http.ResponseWriter, r *http.Request, zipBlobKey appengine.BlobKey, filename string) {
    // 设置Content-Disposition头，指定下载的文件名
    w.Header().Set("Content-Disposition", "attachment; filename=\""+filename+"\"")

    // 使用blobstore.Send直接将Blob文件发送给客户端
    // App Engine会优化此操作，不占用应用实例的内存和带宽
    blobstore.Send(w, zipBlobKey, nil) // 第三个参数可用于设置可选的ServingOptions
}

// 示例：一个完整的HTTP处理器，演示如何集成
func mainHandler(w http.ResponseWriter, r *http.Request) {
    ctx := appengine.NewContext(r)

    // 假设你有一些图片BlobKey需要打包
    imageKeys := []appengine.BlobKey{"image_key_1", "image_key_2", "image_key_3"} // 替换为实际的BlobKey列表
    zipFilename := "my_photos.zip"

    // 实际应用中，你可能需要检查ZIP文件是否已存在于Blobstore中
    // 如果不存在或需要更新，则调用 generateAndStoreZip
    // 否则，直接使用已有的zipBlobKey

    // 这是一个简化的示例，假设我们总是生成新的ZIP或者已经知道其BlobKey
    // 在生产环境中，通常会有一个机制来存储和检索这个zipBlobKey
    // 例如，将其存储在Datastore中，与某个用户会话或请求ID关联。

    // 演示如何生成和存储
    generatedZipBlobKey, err := generateAndStoreZip(ctx, imageKeys, zipFilename)
    if err != nil {
        http.Error(w, "Failed to generate zip file: "+err.Error(), http.StatusInternalServerError)
        return
    }

    // 演示如何分发
    downloadZipHandler(w, r, generatedZipBlobKey, zipFilename)
}