Go读大文件慢主因是读取方式不当；应优先用bufio.Reader减少系统调用，合理设置缓冲区，复用字节切片，必要时用mmap或谨慎并发读。
用 Go 读大文件慢，往往不是语言问题，而是读取方式没选对。核心思路是：避免一次性加载、减少系统调用、利用缓冲和并发控制节奏。
用 bufio.Reader 替代直接 os.Read
直接调 file.Read() 每次都触发系统调用，小块读写开销大。加一层 bufio.Reader 能批量预读、内部维护缓冲区，显著降低调用频次。
- 默认缓冲区 4KB，可按需调整：
bufio.NewReaderSize(file, 1（设为 1MB） - 适合逐行读（
ReadString('\n')）、逐块读（Read()）或按分隔符解析 - 注意：
ReadString在超大行（如单行几百 MB）时会内存暴涨，此时应改用ReadBytes或手动扫描
按块读取 + 复用字节切片
避免频繁分配内存。用固定大小的切片（如 1MB）循环读，配合 io.ReadFull 或检查返回长度，防止最后一块读不满导致逻辑错误。
- 示例模式：
buf := make([]byte, 1 - 读完立即处理或丢弃 buf 内容，不保留引用，利于 GC 回收
- 若需保存数据，用
append(dst[:0], buf[:n]...)复用底层数组，而非每次make
必要时启用 mmap（仅限只读场景）
对超大只读文件（如几十 GB 日志、数据库快照），用 golang.org/x/exp/mmap（或封装好的 github.com/edsrzf/mmap-go）映射到内存，跳过内核拷贝，随机访问极快。
立即学习“go语言免费学习笔记（深入）”；
- 优势：零拷贝、支持
unsafe.Slice直接操作，适合解析固定格式二进制文件 - 注意：映射后仍需手动处理页边界、文件截断风险；写入需同步回盘；Windows 支持稍弱
- 不适用于流式处理或边读边删的场景
谨慎使用 goroutine 并发读（非万能）
磁盘 I/O 本质是顺序设备，并发读多个区域可能加剧寻道，反而更慢。仅在以下情况考虑：
- SSD 上处理多个独立大文件（如日志归档分析）
- 文件已分块存储（如 HDFS 分片、对象存储分段上传结果），每段可并行读
- 读取后计算密集（如解密、校验、转码），可用
runtime.GOMAXPROCS配合 channel 控制并发数，避免 goroutine 泛滥
基本上就这些。关键是根据文件特征（大小、格式、访问模式）选对工具，而不是堆并发或盲目调大缓冲。
