处理大文件时，golang 的高效读取方式主要有两种：一是使用 bufio.scanner 逐行读取文本文件，适合日志分析或文本处理，代码简洁；二是使用 io.reader 按块读取二进制文件，适合哈希计算或网络传输，需手动管理缓冲。1. scanner 封装了缓冲逻辑，默认缓冲区为 64kb，可设置更大缓冲以处理长行；2. reader 提供更灵活的缓冲控制，适合非文本处理，应复用缓冲区以提升性能；3. 根据需求选择：文本按行处理选 scanner，二进制或高性能场景选 reader。两者均基于缓冲机制，适用场景不同，合理选用可实现高效稳定的大文件处理。
处理大文件时，Golang 的高效读取方式主要依赖于 bufio.Scanner 和 io.Reader。这两个工具各有适用场景，关键在于理解它们的机制并根据需求选择合适的方式。
一、使用 bufio.Scanner：逐行读取更方便
如果你需要按行处理大文件，比如日志分析或文本数据清洗，bufio.Scanner 是一个非常实用的选择。
它封装了底层的缓冲逻辑，让你可以轻松地一行一行读取内容，而不需要手动管理缓冲区。
立即学习“go语言免费学习笔记（深入）”；
file, err := os.Open("largefile.log")
if err != nil {
log.Fatal(err)
}
defer file.Close()
scanner := bufio.NewScanner(file)
for scanner.Scan() {
line := scanner.Text()
// 处理每一行
fmt.Println(line)
}注意点：
- 默认情况下，
Scanner有 64KB 的缓冲区限制。如果某一行特别长，可能会触发scanner.Err()返回错误。可以通过设置更大的缓冲区来避免这个问题：
buf := make([]byte, 0, 64*1024) // 64KB scanner.Buffer(buf, 1024*1024) // 最大支持 1MB 的单行
- 如果只是逐行处理，推荐优先使用
Scanner，代码简洁清晰。
二、使用 io.Reader：更灵活但需自行管理缓冲
当你不关心“行”的概念，而是想以块（chunk）为单位读取文件时，比如进行二进制解析、哈希计算或网络传输，直接使用 io.Reader 更加高效。
file, err := os.Open("largefile.bin")
if err != nil {
log.Fatal(err)
}
defer file.Close()
buf := make([]byte, 32*1024) // 32KB 缓冲区
for {
n, err := file.Read(buf)
if n == 0 {
break
}
if err != nil && err != io.EOF {
log.Fatal(err)
}
// 处理 buf[:n]
}优势和建议：
- 可以自定义缓冲区大小，适应不同场景。
- 更适合非文本类文件的处理。
- 注意不要每次循环都创建新的缓冲区，复用已有缓冲性能更好。
三、如何选择 Scanner 还是 Reader？
这取决于你的实际处理需求：
-
✅ 使用 Scanner：
- 文件是文本格式
- 需要按行处理
- 想快速写出结构清晰的代码
-
✅ 使用 Reader：
- 文件是二进制格式
- 不关心“行”，只想分块读取
- 对性能要求更高或内存敏感
两者本质上都是基于缓冲的读取方式，只是接口设计和适用场景不同。
基本上就这些。合理利用 Go 提供的标准库，结合实际业务需求，就能在处理大文件时做到既高效又稳定。
