大文件分块读取需按需加载数据块以避免内存溢出，分为按字节、按行、结构化格式及自定义上下文保持四类：字节分块用file.read(size)配rb模式；行分块用for line in f或itertools.islice；CSV/JSONL/Parquet需专用库逻辑分批；跨块记录需buffer缓存并拼接。
大文件分块读取的核心是避免一次性加载全部内容到内存，而是按需读取固定大小的数据块（如按字节或按行），边读边处理。关键在于控制每次读取的粒度，并保持上下文连续性（尤其对结构化数据如 CSV、JSON）。
按字节分块：适用于二进制或纯文本流
适合日志、图片、压缩包等无需解析结构的场景。用 file.read(size) 控制每次读取的字节数，简单高效。
- 打开文件时使用
rb模式（二进制）更稳妥，避免编码问题 - 设定合理块大小（如 8192 或 65536 字节），太小导致 I/O 频繁，太大仍占内存
- 循环读取直到返回空 bytes，表示文件结束
按行分块：适用于日志、CSV 等行导向文本
对每行独立可处理的文件（如 Nginx 日志、TSV），可用生成器逐行读取，内存占用恒定。
- 直接迭代文件对象（
for line in f:）本质就是缓冲行读取，Python 内部已优化 - 若需批量处理（如每 1000 行做一次统计），可用
itertools.islice切片 - 注意换行符兼容性（
\n、\r\n），一般无需手动处理，Python 自动识别
结构化格式分块：CSV / JSONL / Parquet 的特殊处理
不能简单按字节切分，否则会破坏记录边界。需借助专用库按逻辑记录分批读取。
极品模板多语言企业网站管理系统1.2.2
下载
【极品模板】出品的一款功能强大、安全性高、调用简单、扩展灵活的响应式多语言企业网站管理系统。 产品主要功能如下： 01、支持多语言扩展（独立内容表，可一键复制中文版数据） 02、支持一键修改后台路径； 03、杜绝常见弱口令，内置多种参数过滤、有效防范常见XSS； 04、支持文件分片上传功能，实现大文件轻松上传； 05、支持一键获取微信公众号文章（保存文章的图片到本地服务器）； 06、支持一键
立即学习“Python免费学习笔记（深入）”；
-
CSV：用
pandas.read_csv(chunksize=n)或csv.DictReader配合itertools.islice -
JSONL（每行一个 JSON）：逐行读 +
json.loads(line)，天然支持分块 -
Parquet / HDF5：用
pyarrow或pandas.read_parquet的use_pandas_metadata和分片参数，支持行列过滤与分块加载
自定义分块 + 上下文保持：处理跨块边界的情况
当块末尾截断了某条完整记录（如多行日志、XML 片段），需缓存不完整部分并在下次读取时拼接。
- 维护一个
buffer字符串/字节对象，暂存未完成的记录头 - 每次读取后，先补全 buffer，再按规则（如正则匹配日志开头、XML 标签闭合）拆分有效记录
- 剩余未闭合部分留到下一轮，避免丢数据或解析失败
