使用bufio.Writer可显著提升大文件写入性能，通过缓冲减少系统调用。1. 创建带缓冲的写入器，数据先写入内存缓冲区；2. 合理设置缓冲区大小（如64KB或1MB）以匹配I/O特性；3. 写入完成后必须调用Flush确保数据落盘；4. 可选调用file.Sync()保证数据持久化。示例代码展示分块写入100MB文件，使用32KB分块和1MB缓冲区，最后defer writer.Flush()确保数据完整。该方法为Go中高效写大文件的标准做法。
处理大文件时，直接使用
os.WriteFile或
file.Write会带来严重的性能问题，因为每次写入都可能触发系统调用，频繁的 I/O 操作会显著拖慢程序。Golang 提供了
bufio包来通过缓冲机制优化写入效率。以下是使用缓冲写入大文件的核心技巧和示例代码。
使用 bufio.Writer 进行缓冲写入
通过
bufio.NewWriter创建一个带缓冲区的写入器，数据先写入内存缓冲区，当缓冲区满或显式刷新时才真正写入磁盘，大幅减少系统调用次数。
示例代码：
package main
import (
"bufio"
"log"
"os"
)
func writeLargeFile(filename string, data []byte, chunkSize int) error {
file, err := os.Create(filename)
if err != nil {
return err
}
defer file.Close()
// 使用默认缓冲区大小（通常4096字节），也可用 NewWriterSize 指定
writer := bufio.NewWriter(file)
defer writer.Flush() // 确保所有数据写入磁盘
// 模拟分块写入大数据
for len(data) > 0 {
writeLen := chunkSize
if writeLen > len(data) {
writeLen = len(data)
}
_, err := writer.Write(data[:writeLen])
if err != nil {
return err
}
data = data[writeLen:]
}
return nil
}
func main() {
data := make([]byte, 100*1024*1024) // 100MB 数据
for i := range data {
data[i] = 'A'
}
err := writeLargeFile("largefile.txt", data, 32*1024) // 每次写32KB
if err != nil {
log.Fatal(err)
}
}
调整缓冲区大小以匹配 I/O 特性
默认缓冲区大小为 4KB，可能不适合所有场景。对于大文件写入，适当增大缓冲区（如 64KB 或 1MB）可进一步提升吞吐量。
立即学习“go语言免费学习笔记（深入）”；
使用
bufio.NewWriterSize自定义缓冲区：
writer := bufio.NewWriterSize(file, 1<<20) // 1MB 缓冲区
注意：缓冲区过大可能导致内存占用过高，需根据可用内存和写入模式权衡。
及时调用 Flush 防止数据丢失
关键点：缓冲区未满时，数据不会自动写入磁盘。必须在写入完成后调用
writer.Flush()，否则可能丢失尾部数据。
推荐使用
defer writer.Flush()确保程序异常退出时也能刷新缓冲区。
结合 sync 避免缓存导致的持久化延迟
即使调用
Flush，操作系统仍可能将数据保留在页缓存中。如需确保数据真正写入磁盘，可调用
file.Sync()：
writer.Flush() file.Sync() // 强制同步到磁盘
注意：此操作较慢，仅在需要强持久化保证时使用。
基本上就这些。使用
bufio.Writer是写大文件的标准做法，配合合理的缓冲区大小和及时刷新，能显著提升 I/O 效率。不复杂但容易忽略细节。
