避免一次性加载大文件，使用 bufio.Scanner 或 bufio.Reader 按行/块读取；2. 采用固定大小字节块读写减少系统调用；3. 特定场景用 mmap 减少数据拷贝；4. 并发处理时通过 worker pool 控制协程数，防止资源耗尽。
处理大文件时，Golang 需避免一次性加载整个文件到内存，否则会引发高内存占用甚至 OOM（内存溢出）。正确的做法是使用流式读写，配合适当的缓冲机制和并发策略来提升性能。以下是常见优化手段与示例代码。
使用 bufio 进行缓冲读写
直接调用 os.ReadFile 读取大文件容易耗尽内存。应使用 bufio.Scanner 或 bufio.Reader 按行或按块读取，控制内存使用。
以下示例展示如何逐行读取大文本文件并写入新文件：
package mainimport ( "bufio" "log" "os" )
func readLargeFileWithBufio(filename string) { file, err := os.Open(filename) if err != nil { log.Fatal(err) } defer file.Close()
outFile, err := os.Create("output.txt") if err != nil { log.Fatal(err) } defer outFile.Close() writer := bufio.NewWriter(outFile) scanner := bufio.NewScanner(file) // 设置缓冲区大小（默认 64KB，可调大） buf := make([]byte, 1024*1024) // 1MB buffer scanner.Buffer(buf, 1024*1024) for scanner.Scan() { line := scanner.Text() // 可在此处处理数据，如过滤、转换等 _, err := writer.WriteString(line + "\n") if err != nil { log.Fatal(err) } } if err := scanner.Err(); err != nil { log.Fatal(err) } // 刷新缓冲区 if err := writer.Flush(); err != nil { log.Fatal(err) }}
立即学习“go语言免费学习笔记（深入）”；
按固定块大小读取（适合二进制或超大文本）
对于非文本文件或需更高性能的场景，建议使用固定大小的字节块读取，减少系统调用开销。
func readInChunks(filename string) {
file, err := os.Open(filename)
if err != nil {
log.Fatal(err)
}
defer file.Close()
outFile, err := os.Create("chunk_output.bin")
if err != nil {
log.Fatal(err)
}
defer outFile.Close()
chunk := make([]byte, 32*1024) // 32KB 每次读取
for {
n, err := file.Read(chunk)
if n > 0 {
_, werr := outFile.Write(chunk[:n])
if werr != nil {
log.Fatal(werr)
}
}
if err != nil {
break
}
}}
立即学习“go语言免费学习笔记（深入）”；
使用 mmap 提升特定场景性能
在某些只读或随机访问频繁的场景下，mmap 能减少内核态与用户态的数据拷贝。可用第三方库如 golang.org/x/exp/mmap。
注意：mmap 不适用于所有情况，尤其在内存受限环境中需谨慎使用。
import "golang.org/x/exp/mmap"func readWithMmap(filename string) { r, err := mmap.Open(filename) if err != nil { log.Fatal(err) } defer r.Close()
// 直接遍历映射区域 for i := 0; i < r.Len(); i++ { _ = r.At(i) // 访问字节 }}
立即学习“go语言免费学习笔记（深入）”；
并发处理多个大文件
若需处理多个大文件，可使用 goroutine 并发读写，但要控制并发数防止资源耗尽。
示例：使用带缓冲的 worker pool 控制并发：
func processFilesConcurrently(filenames []string) {
ch := make(chan string, len(filenames))
for _, f := range filenames {
ch <- f
}
close(ch)
const workers = 4
var done = make(chan struct{})
for i := 0; i < workers; i++ {
go func() {
for filename := range ch {
readLargeFileWithBufio(filename)
}
done <- struct{}{}
}()
}
for i := 0; i < workers; i++ {
<-done
}}
立即学习“go语言免费学习笔记（深入）”；
基本上就这些。关键是避免全量加载，合理设置缓冲区，根据场景选择流式读取、分块读取或 mmap，并在必要时引入并发控制。不复杂但容易忽略细节影响性能。
