使用 Go 和 mgo 导入 MongoDB 备份集合的最佳实践

package main

import (
    "fmt"
    "os"
    "os/exec"
    "strings"
)

// importCollection 使用 mongorestore 导入指定的 BSON 备份文件
func importCollection(dbName, collectionName, bsonFilePath string) error {
    // 确保 mongorestore 工具已安装并可执行
    // 可以通过 which mongorestore 在终端检查

    // 构建 mongorestore 命令参数
    // --db 指定数据库名称
    // --collection 指定集合名称
    // --drop 在导入前删除目标集合（可选，根据需求决定是否使用）
    // bsonFilePath 是要导入的 .bson 文件路径
    args := []string{
        "--db", dbName,
        "--collection", collectionName,
        bsonFilePath,
        // 可以添加其他参数，例如 --host, --port, --username, --password, --drop 等
        // "--host", "localhost",
        // "--port", "27017",
        // "--drop", // 如果需要先删除现有集合再导入，请取消注释
    }

    cmd := exec.Command("mongorestore", args...)

    // 捕获标准输出和标准错误，以便在出错时打印详细信息
    var stdout, stderr strings.Builder
    cmd.Stdout = &stdout
    cmd.Stderr = &stderr

    fmt.Printf("执行命令: %s %s\n", cmd.Path, strings.Join(cmd.Args, " "))

    err := cmd.Run()
    if err != nil {
        return fmt.Errorf("执行 mongorestore 失败: %v\nStdout: %s\nStderr: %s", err, stdout.String(), stderr.String())
    }

    fmt.Printf("集合 %s 成功导入到数据库 %s。\n", collectionName, dbName)
    fmt.Printf("mongorestore 输出: %s\n", stdout.String())
    return nil
}

func main() {
    // 示例用法
    database := "my_new_db"
    collection := "my_collection"
    bsonFile := "/path/to/your/backup/my_collection.bson" // 替换为你的 BSON 文件路径

    // 检查文件是否存在
    if _, err := os.Stat(bsonFile); os.IsNotExist(err) {
        fmt.Printf("错误: BSON 文件 '%s' 不存在。\n", bsonFile)
        os.Exit(1)
    }

    err := importCollection(database, collection, bsonFile)
    if err != nil {
        fmt.Printf("导入失败: %v\n", err)
        os.Exit(1)
    }
    fmt.Println("导入过程完成。")
}

package main

import (
    "encoding/json"
    "fmt"
    "io/ioutil"
    "gopkg.in/mgo.v2" // 假设已安装 mgo
    "gopkg.in/mgo.v2/bson" // 用于处理 ObjectId 等 BSON 类型
    "os"
    "time"
)

// 定义一个示例结构体，用于演示JSON解析，实际可能更复杂
// 注意：对于 $date, $oid 等需要特殊处理
type MyDocument struct {
    ID        bson.ObjectId `json:"_id,omitempty" bson:"_id,omitempty"`
    Name      string        `json:"name"`
    Value     int           `json:"value"`
    CreatedAt time.Time     `json:"created_at"` // 需要特殊处理 $date 格式
}

// importJSONCollection 从 JSON 文件导入数据到 MongoDB
func importJSONCollection(session *mgo.Session, dbName, collectionName, jsonFilePath string) error {
    data, err := ioutil.ReadFile(jsonFilePath)
    if err != nil {
        return fmt.Errorf("读取 JSON 文件失败: %v", err)
    }

    // 假设 JSON 文件包含一个文档数组
    var docs []map[string]interface{} 
    // 如果 JSON 文件是每行一个文档（mongoexport --jsonArray false），则需要逐行读取和解析
    // 或者使用 json.Decoder 逐个解码

    err = json.Unmarshal(data, &docs)
    if err != nil {
        // 尝试解析为单个文档，如果文件不是数组
        var singleDoc map[string]interface{}
        if err = json.Unmarshal(data, &singleDoc); err == nil {
            docs = []map[string]interface{}{singleDoc}
        } else {
            return fmt.Errorf("解析 JSON 数据失败: %v", err)
        }
    }

    c := session.DB(dbName).C(collectionName)

    // 批量插入
    bulk := c.Bulk()
    bulk.Unordered() // 或 Ordered()
    for _, doc := range docs {
        // 这里需要处理 $date, $oid 等特殊字段的转换
        // 例如，如果 doc["_id"] 是一个 {"$oid": "..."} 结构，需要手动转换为 bson.ObjectId
        // 如果 doc["created_at"] 是一个 {"$date": "..."} 结构，需要手动转换为 time.Time
        // 这是一个简化的例子，实际生产环境需要更健壮的类型转换逻辑
        bulk.Insert(doc)
    }

    result, err := bulk.Run()
    if err != nil {
        return fmt.Errorf("批量插入失败: %v", err)
    }

    fmt.Printf("成功导入 %d 个文档到集合 %s。\n", result.ModifiedCount, collectionName)
    return nil
}

func main() {
    // 示例用法
    session, err := mgo.Dial("localhost:27017")
    if err != nil {
        fmt.Printf("连接 MongoDB 失败: %v\n", err)
        os.Exit(1)
    }
    defer session.Close()

    database := "my_new_db"
    collection := "my_json_collection"
    jsonFile := "/path/to/your/backup/my_json_collection.json" // 替换为你的 JSON 文件路径

    if _, err := os.Stat(jsonFile); os.IsNotExist(err) {
        fmt.Printf("错误: JSON 文件 '%s' 不存在。\n", jsonFile)
        os.Exit(1)
    }

    err = importJSONCollection(session, database, collection, jsonFile)
    if err != nil {
        fmt.Printf("导入失败: %v\n", err)
        os.Exit(1)
    }
    fmt.Println("JSON 导入过程完成。")
}