如何高效地从Go语言大型文件中随机抽取行

package main

import (
    "encoding/csv"
    "fmt"
    "io"
    "math/rand"
    "os"
    "time"
)

// ReservoirSamplingCSV 从给定的CSV文件中随机抽取 k 条记录
func ReservoirSamplingCSV(filePath string, k int) ([][]string, error) {
    file, err := os.Open(filePath)
    if err != nil {
        return nil, fmt.Errorf("无法打开文件: %w", err)
    }
    defer file.Close()

    reader := csv.NewReader(file)

    // 初始化随机数生成器
    // 生产环境中应使用加密安全的随机数或确保种子唯一性
    r := rand.New(rand.NewSource(time.Now().UnixNano()))

    // 初始化水塘
    reservoir := make([][]string, 0, k)

    // 读取前 k 行填充水塘
    for i := 0; i < k; i++ {
        record, err := reader.Read()
        if err == io.EOF {
            // 文件行数少于 k，返回所有行
            return reservoir, nil
        }
        if err != nil {
            return nil, fmt.Errorf("读取CSV记录失败 (行 %d): %w", i+1, err)
        }
        reservoir = append(reservoir, record)
    }

    // 从第 k+1 行开始进行抽样
    for i := k; ; i++ { // i 代表当前读取的行号 (从0开始计数)
        record, err := reader.Read()
        if err == io.EOF {
            break // 文件读取完毕
        }
        if err != nil {
            return nil, fmt.Errorf("读取CSV记录失败 (行 %d): %w", i+1, err)
        }

        // 生成一个 0 到 i 之间的随机整数
        // 注意: rand.Intn(n) 生成 [0, n) 范围的整数
        // 所以 i+1 是为了包含当前行号 i
        j := r.Intn(i + 1) 

        // 如果 j 小于 k，则替换水塘中的一个元素
        if j < k {
            reservoir[j] = record
        }
    }

    return reservoir, nil
}

func main() {
    // 示例用法：创建一个模拟的CSV文件
    createDummyCSV("large_data.csv", 100000) // 10万行

    k := 10 // 想要抽取的记录数量

    fmt.Printf("从 large_data.csv 中抽取 %d 条记录...\n", k)
    sampledRecords, err := ReservoirSamplingCSV("large_data.csv", k)
    if err != nil {
        fmt.Println("抽样失败:", err)
        return
    }

    fmt.Printf("成功抽取 %d 条记录:\n", len(sampledRecords))
    for i, record := range sampledRecords {
        fmt.Printf("%d: %v\n", i+1, record)
    }
}

// createDummyCSV 创建一个包含指定行数的模拟CSV文件
func createDummyCSV(filename string, numLines int) {
    file, err := os.Create(filename)
    if err != nil {
        panic(err)
    }
    defer file.Close()

    writer := csv.NewWriter(file)
    defer writer.Flush()

    for i := 0; i < numLines; i++ {
        record := []string{
            fmt.Sprintf("ID_%d", i+1),
            fmt.Sprintf("Name_%d", i+1),
            fmt.Sprintf("Value_%d", i*100),
        }
        if err := writer.Write(record); err != nil {
            panic(err)
        }
    }
    fmt.Printf("已创建模拟CSV文件: %s, 包含 %d 行\n", filename, numLines)
}