Go语言中从大型文本文件高效随机抽取行的教程

reader := csv.NewReader(file)
lines, err := reader.ReadAll() // 潜在的内存和性能问题
// ... 从 lines 中随机选择

package main

import (
    "bufio"
    "fmt"
    "io"
    "math/rand"
    "os"
    "time"
)

// ReadRandomLines 使用水塘抽样从io.Reader中随机读取k行
func ReadRandomLines(r io.Reader, k int) ([]string, error) {
    if k <= 0 {
        return nil, fmt.Errorf("k must be a positive integer")
    }

    scanner := bufio.NewScanner(r)
    reservoir := make([]string, 0, k) // 初始化水塘，预分配k个容量

    var linesRead int // 已读取的行数

    for scanner.Scan() {
        line := scanner.Text()
        linesRead++

        if linesRead <= k {
            // 前k行直接放入水塘
            reservoir = append(reservoir, line)
        } else {
            // 对于第 linesRead 行（n > k）
            // 生成一个0到linesRead-1之间的随机整数j
            j := rand.Intn(linesRead) // rand.Intn(N) 返回 [0, N) 范围的整数
            if j < k {
                // 如果j小于k，则替换水塘中的一个元素
                reservoir[j] = line
            }
        }
    }

    if err := scanner.Err(); err != nil {
        return nil, fmt.Errorf("error reading file: %w", err)
    }

    // 如果文件总行数少于k，则返回所有行
    if len(reservoir) < k {
        return reservoir, nil
    }
    return reservoir, nil
}

func main() {
    // 初始化随机数生成器
    rand.Seed(time.Now().UnixNano())

    // 创建一个模拟的大型文件
    fileName := "large_file.txt"
    createLargeFile(fileName, 1000000) // 创建一个包含100万行的文件

    file, err := os.Open(fileName)
    if err != nil {
        fmt.Printf("Error opening file: %v\n", err)
        return
    }
    defer file.Close()

    numLinesToSample := 10 // 想要抽取的行数
    sampledLines, err := ReadRandomLines(file, numLinesToSample)
    if err != nil {
        fmt.Printf("Error sampling lines: %v\n", err)
        return
    }

    fmt.Printf("Successfully sampled %d lines:\n", len(sampledLines))
    for i, line := range sampledLines {
        fmt.Printf("%d: %s\n", i+1, line)
    }

    // 清理模拟文件
    os.Remove(fileName)
}

// createLargeFile 辅助函数，用于生成一个大型文本文件
func createLargeFile(fileName string, numLines int) {
    file, err := os.Create(fileName)
    if err != nil {
        panic(err)
    }
    defer file.Close()

    writer := bufio.NewWriter(file)
    for i := 1; i <= numLines; i++ {
        _, err := writer.WriteString(fmt.Sprintf("This is line number %d in the large file.\n", i))
        if err != nil {
            panic(err)
        }
    }
    writer.Flush()
    fmt.Printf("Created %s with %d lines.\n", fileName, numLines)
}