使用 Go 语言和 mgo 导入 MongoDB 备份数据的策略与实践

package main

import (
    "fmt"
    "os"
    "os/exec"
    "log"
)

func main() {
    // 假设备份文件位于当前目录的 dump 目录下，这是 mongodump 默认的输出结构
    // 例如：dump/mydatabase/mycollection.bson 和 dump/mydatabase/mycollection.metadata.json
    backupPath := "./dump" // mongodump 生成的顶级目录

    // 目标数据库名称
    dbName := "target_database"

    // 构建 mongorestore 命令
    // --drop 选项会删除目标数据库中已存在的同名集合，请谨慎使用。
    // --db 指定要导入到的数据库
    // backupPath 是 mongodump 备份的根目录
    cmd := exec.Command("mongorestore", "--drop", "--db", dbName, backupPath)

    // 设置输出，便于在控制台查看 mongorestore 的执行日志
    cmd.Stdout = os.Stdout
    cmd.Stderr = os.Stderr

    fmt.Printf("Executing command: %s\n", cmd.String())

    // 执行命令
    err := cmd.Run()
    if err != nil {
        log.Fatalf("Error executing mongorestore: %v", err)
    }

    fmt.Println("MongoDB restore completed successfully.")

    // 导入特定集合的示例（如果备份是针对整个数据库，通常不需要）
    // 如果你只想恢复某个特定的集合文件，可以这样指定：
    // backupFilePath := "./dump/mydatabase/mycollection.bson"
    // collectionName := "mycollection"
    // cmd = exec.Command("mongorestore", "--drop", "--db", dbName, "--collection", collectionName, backupFilePath)
    // // ... (同上执行)
}

package main

import (
    "encoding/json"
    "fmt"
    "io/ioutil"
    "log"
    "os"

    "gopkg.in/mgo.v2"
    "gopkg.in/mgo.v2/bson" // mgo 自己的 bson 包可能需要处理特殊类型
)

// importJSON 函数用于从 JSON 文件导入数据到 MongoDB 集合
// 假设 JSON 文件是一个包含多个文档的数组
func importJSON(filePath string, dbName, collectionName string) error {
    session, err := mgo.Dial("mongodb://localhost:27017")
    if err != nil {
        return fmt.Errorf("failed to connect to MongoDB: %w", err)
    }
    defer session.Close()

    collection := session.DB(dbName).C(collectionName)

    data, err := ioutil.ReadFile(filePath)
    if err != nil {
        return fmt.Errorf("failed to read JSON file: %w", err)
    }

    // 尝试将整个文件解析为 JSON 数组
    var docs []map[string]interface{}
    if err := json.Unmarshal(data, &docs); err != nil {
        // 如果文件不是一个 JSON 数组，可能需要按行读取（对于 mongoexport --jsonArray false 的情况）
        // 或处理单个 JSON 对象。这里为简洁只处理数组情况。
        return fmt.Errorf("failed to unmarshal JSON data: %w", err)
    }

    // 批量插入
    // 注意：这里需要特别处理 MongoDB 的特殊类型，如 $date, $oid。
    // Go 的 json.Unmarshal 默认不会将其转换为 mgo/bson 对应的类型。
    // 例如，{"$oid": "..."} 需要转换为 bson.ObjectId
    // {"$date": "..."} 需要转换为 time.Time
    // 这是一个复杂的问题，简单的 map[string]interface{} 可能无法直接满足，
    // 需要自定义 UnmarshalJSON 方法或使用支持 MongoDB 扩展 JSON 的库。
    var insertDocs []interface{}
    for _, doc := range docs {
        // 实际应用中，这里需要加入逻辑来转换 doc 中的 MongoDB 扩展 JSON 类型
        // 例如：
        // if oidMap, ok := doc["_id"].(map[string]interface{}); ok {
        //     if oidStr, ok := oidMap["$oid"].(string); ok {
        //         doc["_id"] = bson.ObjectIdHex(oidStr)
        //     }
        // }
        insertDocs = append(insertDocs, doc)
    }

    if len(insertDocs) > 0 {
        bulk := collection.Bulk()
        bulk.Insert(insertDocs...)
        _, err := bulk.Run()
        if err != nil {
            return fmt.Errorf("failed to insert documents: %w", err)
        }
    }
    return nil
}

func main() {
    jsonFilePath := "./mycollection.json" // 假设这是一个 JSON 数组文件
    dbName := "target_database"
    collectionName := "mycollection"

    // 创建一个示例 JSON 文件用于测试
    // 实际使用时，此文件应由 mongoexport 生成
    sampleJSON := `[
        {"_id": {"$oid": "60c72b2f9f1b2c001a1b2c3d"}, "name": "Alice", "age": 30, "createdAt": {"$date": "2023-01-01T10:00:00Z"}},
        {"_id": {"$oid": "60c72b2f9f1b2c001a1b2c