Go文件操作分三类:os.Open/Create需手动Close防泄漏;os.ReadFile/WriteFile适合小文件自动管理资源;bufio.Scanner流式读大文件防OOM。

用 os.Open 和 os.Create 做基础文件读写
Go 中最直接的文件操作方式是通过 os 包的底层函数,适合控制粒度高、需要显式管理资源的场景。但要注意:不手动调用 Close() 会导致文件句柄泄漏。
-
os.Open只支持只读打开,返回*os.File和error;若文件不存在,错误为os.IsNotExist(err)为true -
os.Create总是创建新文件(存在则清空),等价于os.OpenFile(name, os.O_RDWR|os.O_CREATE|os.O_TRUNC, 0666) - 务必用
defer f.Close(),但注意:如果f是 nil(比如os.Open失败后直接 defer),会 panic —— 应先判错再 defer
file, err := os.Open("input.txt")
if err != nil {
log.Fatal(err)
}
defer file.Close() // 安全:file 非 nil
out, err := os.Create("output.txt")
if err != nil {
log.Fatal(err)
}
defer out.Close()
用 ioutil.ReadFile 和 ioutil.WriteFile 快速读写小文件
Go 1.16 起 ioutil 已被移到 io 包下,推荐用 os.ReadFile 和 os.WriteFile —— 它们自动处理打开、读/写、关闭全过程,代码简洁,适合配置文件、JSON、小文本等场景。
-
os.ReadFile("path")返回[]byte和error;不支持按行读或流式处理 -
os.WriteFile("path", data, 0644)第三个参数是权限位,Windows 上会被忽略 - 大文件(如 >10MB)别用这个,容易 OOM;它是一次性加载全部内容到内存
data, err := os.ReadFile("config.json")
if err != nil {
log.Fatal(err)
}
// 解析 JSON
var cfg Config
json.Unmarshal(data, &cfg)
err = os.WriteFile("backup.json", data, 0644)
if err != nil {
log.Fatal(err)
}
用 bufio.Scanner 按行读取大文件避免内存爆炸
处理日志、CSV 或其他按行组织的大文件时,os.ReadFile 会把整个文件塞进内存。正确做法是用 bufio.Scanner 流式读取,每次只拿一行。
-
Scanner默认单行上限 64KB,超长会报scanner: token too long;可用scanner.Buffer(make([]byte, 64*1024), 1 扩容 - 不要在循环里用
scanner.Text()结果地址做长期保存(底层 buffer 会被复用),需用string(scanner.Bytes())或append([]byte{}, scanner.Bytes()...)拷贝 - 遇到二进制文件或非 UTF-8 编码内容,
Scanner可能出错;此时改用bufio.Reader.ReadLine()更可控
file, _ := os.Open("access.log")
defer file.Close()
scanner := bufio.NewScanner(file)
for scanner.Scan() {
line := string(scanner.Bytes()) // 安全拷贝
processLine(line)
}
if err := scanner.Err(); err != nil {
log.Fatal(err)
}
用 os.OpenFile 控制读写模式和权限位
当需要同时读写、追加、或设置特定权限时,os.OpenFile 是唯一选择。它的标志位组合决定行为,稍不注意就会覆盖文件或无权限写入。
立即学习“go语言免费学习笔记(深入)”;
- 常用 flag 组合:
os.O_RDONLY(只读)、os.O_WRONLY | os.O_CREATE | os.O_APPEND(追加写)、os.O_RDWR | os.O_CREATE | os.O_TRUNC(读写+清空) - 权限位(第三个参数)在 Linux/macOS 生效,如
0600表示仅属主可读写;Windows 忽略该参数,但 Go 仍要求传入(一般填0644) - 如果以
O_CREATE打开但父目录不存在,会报no such file or directory—— 需提前用os.MkdirAll
f, err := os.OpenFile("log.txt",
os.O_WRONLY|os.O_CREATE|os.O_APPEND,
0644)
if err != nil {
log.Fatal(err)
}
defer f.Close()
f.WriteString("new entry\n")
实际写文件处理程序时,最容易被忽略的是错误路径的清理(比如部分写入失败后残留临时文件)、编码假设(默认 UTF-8,但日志可能是 GBK)、以及 Windows 下路径分隔符和换行符(\r\n)带来的兼容问题。这些不在标准库自动处理范围内,得自己兜底。










