0

0

Python 文本流处理的工程实践

舞夢輝影

舞夢輝影

发布时间:2026-02-16 15:23:02

|

392人浏览过

|

来源于php中文网

原创

应使用 io.stringio 处理字符串流、io.bytesio 处理字节流;逐行迭代读取比 readlines() 更省内存;csv 解析需正确配置 delimiter、quotechar 和 quoting;python 3 应直接用 open(..., encoding=...) 而非 codecs.open。

python 文本流处理的工程实践

io.StringIO 替换字符串做流操作,但别忘了编码边界

字符串不是字节流,io.StringIO 只接受 str,不能塞 bytes;一塞就报 TypeError: initial_value must be str or None。常见于从文件读取后想“假装是流”再处理,结果误把 open(..., 'rb') 的返回值传进去。

  • 如果原始数据是字节(比如 HTTP 响应体、二进制文件内容),该用 io.BytesIO,不是 StringIO
  • 如果原始是字符串但含非 ASCII 字符(如中文、emoji),StringIO 没问题,但它不涉及编码/解码——它只管 Unicode 层,编码是写入文件或网络时才发生的
  • 别在 StringIO 上调用 .encode() 或期待它有 encoding 参数——它没有

示例:正确复用字符串为流

import io
text = "你好,world\n123"
stream = io.StringIO(text)
stream.readline()  # → "你好,world\n"

逐行读大文本时,for line in ff.readlines() 真的省内存

f.readlines() 会一次性把全部行载入内存,哪怕文件只有 100MB,也可能生成数百万个 str 对象,GC 压力陡增。而 for line in f 是迭代器式读取,底层用缓冲区按需拉取,内存占用基本恒定。

  • 注意:line 结尾带换行符 \n(或 \r\n),需要 line.rstrip('\n\r') 才能干净取内容
  • 如果要跳过空行或注释行,别写 if line.strip(): ...——strip() 会新建字符串,高频场景下可改用 line[:1] not in ('\n', '\r', '#') 这类轻量判断
  • Windows 下用 open(..., newline='') 能统一换行符行为,避免 \r\n 被当两行

csv.readercsv.DictReader 的 delimiter 与 quotechar 容易配错

默认逗号分隔、双引号包裹字段,但真实数据常是制表符、竖线,或用单引号、无引号。配错会导致字段劈开错位、头部解析失败,甚至静默吞掉数据。

华友协同办公自动化OA系统
华友协同办公自动化OA系统

华友协同办公管理系统(华友OA),基于微软最新的.net 2.0平台和SQL Server数据库,集成强大的Ajax技术,采用多层分布式架构,实现统一办公平台,功能强大、价格便宜,是适用于企事业单位的通用型网络协同办公系统。 系统秉承协同办公的思想,集成即时通讯、日记管理、通知管理、邮件管理、新闻、考勤管理、短信管理、个人文件柜、日程安排、工作计划、工作日清、通讯录、公文流转、论坛、在线调查、

下载

立即学习Python免费学习笔记(深入)”;

  • delimiter='\t' 处理 TSV 时,别漏掉 quoting=csv.QUOTE_MINIMAL(否则含制表符的字段会崩)
  • 字段含双引号又不用引号包裹?得设 quotechar=None 并配合 quoting=csv.QUOTE_NONE,否则报 Error: iterator should return strings, not bytes 类似错误
  • DictReader 读首行当 key,若首行本身有脏字符(空格、BOM、隐藏控制符),key 名会异常,建议先 next(f).strip('\ufeff').split(...) 预处理头

示例:安全读带单引号、竖线分隔的 CSV

import csv
with open('data.txt') as f:
    reader = csv.reader(f, delimiter='|', quotechar="'", quoting=csv.QUOTE_ALL)
    for row in reader:
        print(row)

codecs.open 还是 open(..., encoding=...)?Python 3.7+ 就别绕路了

codecs.open 是 Python 2 时代遗留方案,Python 3 中 open 已原生支持 encoding 参数,功能一致且更直观。继续用 codecs.open 不仅多写 import,还会掩盖一个关键点:它的 errors 参数名和行为跟内置 open 不完全等价,容易配错策略。

  • 统一用 open(path, encoding='utf-8', errors='replace')errors 可选 'ignore''replace''strict'
  • UTF-8-BOM 文件?加 encoding='utf-8-sig',它会自动剥离 BOM,不用手动切片
  • 读写同一文件时,别混用编码:写用 utf-8,读却用 gbk,会直接抛 UnicodeDecodeError

真正麻烦的是混合编码日志文件——没有银弹,得靠 chardetcharset-normalizer 先探,再重开,这个步骤没法省。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

814

2023.08.22

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

371

2023.10.18

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

339

2023.10.25

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

552

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

216

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1553

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

640

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

925

2024.03.22

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

283

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.4万人学习

Django 教程
Django 教程

共28课时 | 4.3万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号