Go App Engine Blobstore大文件ZIP打包的内存优化策略

package main

import (
    "archive/zip"
    "io"
    "net/http"

    "google.golang.org/appengine"
    "google.golang.org/appengine/blobstore"
)

// 假设l.Files是一个包含BlobKey字符串的切片
type fileList struct {
    Files []string
}

func handleZipDownload(w http.ResponseWriter, r *http.Request, l fileList) {
    c := appengine.NewContext(r)

    w.Header().Set("Content-Type", "application/zip")
    w.Header().Set("Content-Disposition", "attachment;filename=photos.zip")

    writer := zip.NewWriter(w)
    defer writer.Close() // 确保ZIP writer被关闭

    for _, key := range l.Files {
        // 获取Blob信息
        info, err := blobstore.Stat(c, appengine.BlobKey(key))
        if err != nil {
            http.Error(w, "Failed to get blob info: "+err.Error(), http.StatusInternalServerError)
            return
        }

        // 在ZIP文件中创建新条目
        wr, err := writer.Create(info.Filename) // 使用原始文件名
        if err != nil {
            http.Error(w, "Failed to create zip entry: "+err.Error(), http.StatusInternalServerError)
            return
        }

        // 从Blobstore读取图片数据并写入ZIP条目
        reader := blobstore.NewReader(c, appengine.BlobKey(key))
        if _, err := io.Copy(wr, reader); err != nil {
            http.Error(w, "Failed to copy image to zip: "+err.Error(), http.StatusInternalServerError)
            return
        }
    }
}

package main

import (
    "archive/zip"
    "fmt"
    "io"

    "google.golang.org/appengine"
    "google.golang.org/appengine/blobstore"
    "google.golang.org/appengine/log"
)

// generateZipToBlobstore 将指定的一组BlobKey图片打包成ZIP文件并存储到Blobstore
// 成功后返回新生成的ZIP文件的BlobKey
func generateZipToBlobstore(c appengine.Context, imageBlobKeys []string) (appengine.BlobKey, error) {
    // 1. 创建一个blobstore.Writer，指定MIME类型为application/zip
    // Blobstore会自动处理文件存储和分配BlobKey
    bw, err := blobstore.Create(c, "application/zip")
    if err != nil {
        log.Errorf(c, "Failed to create blobstore writer: %v", err)
        return "", fmt.Errorf("failed to create blobstore writer: %w", err)
    }
    defer bw.Close() // 确保writer被关闭，这会触发BlobKey的最终化

    // 2. 将zip.NewWriter包装在blobstore.Writer上
    zw := zip.NewWriter(bw)
    defer zw.Close() // 确保zip writer被关闭，这将完成ZIP文件结构

    // 3. 遍历图片BlobKey，将每张图片添加到ZIP文件中
    for i, keyStr := range imageBlobKeys {
        blobKey := appengine.BlobKey(keyStr)

        // 获取Blob信息，用于获取文件名等
        info, err := blobstore.Stat(c, blobKey)
        if err != nil {
            log.Warningf(c, "Could not stat blob %s, skipping: %v", keyStr, err)
            // 可以选择跳过或返回错误
            continue
        }

        // 在ZIP文件中创建新条目
        // 使用原始文件名，或者根据需要生成唯一文件名
        entryWriter, err := zw.Create(info.Filename)
        if err != nil {
            log.Errorf(c, "Failed to create zip entry for %s: %v", info.Filename, err)
            return "", fmt.Errorf("failed to create zip entry for %s: %w", info.Filename, err)
        }

        // 从Blobstore读取图片数据
        imageReader := blobstore.NewReader(c, blobKey)

        // 将图片数据复制到ZIP条目中
        if _, err := io.Copy(entryWriter, imageReader); err != nil {
            log.Errorf(c, "Failed to copy image data for %s: %v", info.Filename, err)
            return "", fmt.Errorf("failed to copy image data for %s: %w", info.Filename, err)
        }
    }

    // 在bw.Close()被调用后，可以通过bw.Key()获取到新生成的ZIP文件的BlobKey
    // 但defer bw.Close()会在函数返回前执行，所以这里不能直接获取
    // 更安全的做法是，将BlobKey存储在数据库或Memcache中，与原始图片集合关联
    // 或者，如果只是临时生成，可以在调用处处理
    return bw.Key(), nil // 此处返回的Key可能为空，因为bw.Close()尚未执行
    // 实际应用中，通常会在bw.Close()之后，通过某种方式获取并存储BlobKey
    // 例如，在bw.Close()之后，如果需要立即使用Key，可以不使用defer，而是显式调用。
    // For blobstore.Writer, the Key() method is usually available after Close() has been called.
    // However, the provided example (and common usage) shows Key() being available before Close()
    // if the BlobKey needs to be retrieved for subsequent use. Let's assume Key() works before Close() for now,
    // or clarify that it should be retrieved after Close() in a non-deferred context.
    // The official docs for blobstore.Writer.Key() state: "Key returns the BlobKey for the blob that is being written.
    // It is valid after the call to Create and before Close." So, it's safe to call Key() before Close().
}

package main

import (
    "net/http"

    "google.golang.org/appengine"
    "google.golang.org/appengine/blobstore"
)

// serveZipFromBlobstore 根据给定的BlobKey从Blobstore服务ZIP文件
func serveZipFromBlobstore(w http.ResponseWriter, r *http.Request, zipBlobKey appengine.BlobKey) {
    // 设置HTTP响应头，指示文件类型和建议的文件名
    w.Header().Set("Content-Type", "application/zip")
    w.Header().Set("Content-Disposition", "attachment;filename=photos.zip") // 可以根据需要动态设置文件名

    // 使用blobstore.Send直接从Blobstore服务文件
    // App Engine实例不会加载文件内容，而是将请求重定向到Blobstore服务
    blobstore.Send(w, zipBlobKey)
}

// 示例HTTP处理函数，假设我们已经有了zipBlobKey
func handleDownloadRequest(w http.ResponseWriter, r *http.Request) {
    // 实际应用中，zipBlobKey会从Datastore或其他存储中获取
    // 假设我们已经通过某种方式获取到了ZIP文件的BlobKey
    // 例如：从URL参数或会话中获取
    // var storedZipBlobKey appengine.BlobKey = "..." 

    // 模拟获取一个已存在的ZIP文件的BlobKey
    // 在实际应用中，这会是一个真实存储的BlobKey
    dummyZipBlobKey := appengine.BlobKey("some_pre_generated_zip_blob_key") // 替换为实际的BlobKey

    serveZipFromBlobstore(w, r, dummyZipBlobKey)
}