Python文件读取需精准控制编码（如utf-8-sig处理BOM）、流式读取大文件（逐行或分块）、二进制文件用rb模式配合struct/io.BytesIO解析，跨平台注意换行符差异并用newline=''精确控制。
Python文件读取看似简单，但实际项目中常遇到编码混乱、大文件卡顿、二进制结构解析错误、换行符不一致等问题。关键不在“会不会读”，而在“读得准、读得稳、读得巧”。
精准控制文本编码与BOM处理
中文环境最常见问题是UnicodeDecodeError，根源常是系统默认编码（如GBK）与文件真实编码（如UTF-8 with BOM）不匹配。不要依赖open()的默认encoding，务必显式指定；遇到带BOM的UTF-8文件，用encoding='utf-8-sig'自动剥离BOM头，避免开头多出'\ufeff'字符。
- 读取前先用chardet.detect()粗略探测编码（适合未知来源文件，注意它不100%准确）
- 写入时统一用encoding='utf-8'，避免跨平台乱码
- 处理Windows日志等老文件时，尝试encoding='gb18030'（兼容GBK/GB2312）
高效读取超大文本文件（GB级）
一次性read()或readlines()会把整个文件载入内存，极易OOM。正确做法是流式逐行或分块读取。
- 标准逐行：for line in open('big.txt', encoding='utf-8'): —— 内存友好，自动按行缓冲
- 自定义块读取：f.read(8192) 每次读8KB，适合需要按固定长度解析的场景（如日志分片）
- 用mmap.mmap()将文件映射到内存地址空间，支持随机访问且不占实际内存（适合需反复跳转查找的超大文件）
安全可靠地读取二进制文件与结构化解析
读二进制不能用encoding参数，必须用mode='rb'。常见误区是把图片、PDF、网络包等当成文本硬解码。真正难点在于从原始字节中提取有意义的数据。
立即学习“Python免费学习笔记（深入）”；
- 用struct.unpack()按C风格格式解析头部（如PNG魔数b'\x89PNG\r\n\x1a\n'，或ELF文件的e_ident字段）
- 处理网络协议或自定义二进制格式时，结合io.BytesIO构造可回溯的字节流，方便多次seek()
- 图像/音视频等复杂格式，优先用专业库（PIL、pydub、opencv），而非手动解析——除非你真在写解析器
跨平台换行与空白字符的隐形陷阱
Windows用'\r\n'，Linux/macOS用'\n'，而Python的open()在文本模式下默认启用universal newlines（自动转成'\n'），但二进制模式下原样返回。这会导致正则匹配、字符串分割出错。
- 逐行读取时，line.rstrip('\n\r')比line.strip()更精准，避免误删末尾空格或制表符
- 写文件时用newline=''参数关闭自动换行转换（尤其处理CSV或协议数据），由你自己控制换行符
- 用repr(line)快速查看真实换行符和不可见字符，调试时很管用
