0

0

Python 如何优雅处理 csv 文件中混杂的引号和换行

舞夢輝影

舞夢輝影

发布时间:2026-01-17 19:14:51

|

364人浏览过

|

来源于php中文网

原创

应使用Python内置csv模块配合newline=''和quoting=csv.QUOTE_MINIMAL,或预处理修复引号嵌套,或改用pandas.read_csv并设置quoting=csv.QUOTE_ALL与lineterminator参数。

python 如何优雅处理 csv 文件中混杂的引号和换行

如果您在使用 Python 处理 CSV 文件时遇到字段内包含英文双引号、单引号或跨行换行符(如 Windows 的 或 Unix 的 )导致 csv.reader 解析失败、字段错位或 ValueError 报错,则很可能是 CSV 解析器未能正确识别被引号包裹的多行字段。以下是解决此问题的步骤:

一、使用内置 csv 模块配合正确 quoting 参数

Python 内置 csv 模块支持 RFC 4180 标准,当字段被双引号包围且内部含换行符或引号时,只要设置正确的 quoting 和 escapechar,即可自动处理。关键在于启用 QUOTE_ALL 或 QUOTE_MINIMAL 并确保 quotechar 与文件实际一致。

1、以文本模式打开 CSV 文件,指定 newline='' 参数防止 universal newlines 干扰内部换行解析。

2、初始化 csv.reader 时传入 quoting=csv.QUOTE_MINIMAL,该模式会将含逗号、换行符或 quotechar 的字段自动加引号包裹。

立即学习Python免费学习笔记(深入)”;

3、若原始文件中字段使用双引号包裹且内部双引号以两个双引号表示(如 "He said ""Hi""."),则无需额外 escapechar,csv 模块默认识别该转义方式。

4、逐行迭代 reader 对象,每行返回已正确分割的字符串列表,内部换行符保留在对应字段字符串中,不会中断行读取。

二、预处理原始字节流并修复引号嵌套

当 CSV 文件存在不规范引号(如单引号混用、未闭合引号、引号内含未转义换行)时,标准 csv.reader 可能提前终止。此时可先对原始内容做轻量级清洗:定位未闭合引号段,将其中非法换行替换为占位符,再交由 csv 模块解析,最后还原。

1、用 open(file, 'rb') 读取全部字节,避免文本编码干扰原始引号位置。

2、扫描字节流,记录双引号出现位置,检测奇数次引号后是否紧随换行符(b' ' 或 b' ')且后续无匹配闭合引号。

3、对每个疑似未闭合字段区间,将其中的 b' ' 替换为 b'\n'(ASCII 字节序列),保持字段完整性。

4、将修复后的字节流解码为字符串(指定 encoding='utf-8',errors='replace'),再送入 csv.StringIO 构造可读对象。

飞书多维表格
飞书多维表格

表格形态的AI工作流搭建工具,支持批量化的AI创作与分析任务,接入DeepSeek R1满血版

下载

5、使用 csv.reader 解析该 StringIO 对象,并在获取字段后将 '\n' 替换回 ' '。

三、切换至 pandas.read_csv 并启用 robust 参数组合

pandas 的 read_csv 函数在底层调用 C 解析器,对混合引号和换行具有更强容错能力,尤其当设置 engine='python' 时会启用纯 Python 解析器,支持更灵活的 quoting 行为和行继续逻辑。

1、导入 pandas 并调用 pd.read_csv(),传入 filepath_or_buffer 参数指向目标文件路径。

2、显式指定 quoting=csv.QUOTE_ALL,强制所有字段视为被引号包裹,使内部换行合法化。

3、添加参数 lineterminator=' ',避免 Windows 行尾 被误判为字段内字符;若文件含 换行且字段内也有 ,可改用 lineterminator=None 让 pandas 自动检测。

4、设置 error_bad_lines=False(pandas

5、加载后检查 DataFrame 中 object 类型列是否含预期换行符,确认字段未被截断。

四、使用 csvkit 工具链预验证与标准化

csvkit 是专为处理“脏 CSV”设计的命令行工具集,其 in2csv 命令可将非标准 CSV 转换为 RFC 兼容格式,消除引号歧义与换行冲突,再交由 Python 安全读取。

1、通过 pip install csvkit 安装工具包。

2、执行 in2csv --no-inference input.csv > normalized.csv,该命令自动识别引号规则、合并跨行字段、转义内部引号。

3、验证 normalized.csv 是否仍保留原始语义:用 head -n 5 normalized.csv 查看前五行,确认多行字段已折叠为单行且引号成对。

4、在 Python 中用标准 csv.reader 打开 normalized.csv,不再需特殊参数,quoting=csv.QUOTE_MINIMAL 即可稳定工作。

5、若原始文件无 BOM 但含中文,可在 in2csv 后追加 --encoding utf-8-sig 确保输出带签名,避免 Python 读取时解码错误。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

79

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

32

2026.01.31

pip安装使用方法
pip安装使用方法

安装步骤:1、确保Python已经正确安装在您的计算机上;2、下载“get-pip.py”脚本;3、按下Win + R键,然后输入cmd并按下Enter键来打开命令行窗口;4、在命令行窗口中,使用cd命令切换到“get-pip.py”所在的目录;5、执行安装命令;6、验证安装结果即可。大家可以访问本专题下的文章,了解pip安装使用方法的更多内容。

373

2023.10.09

更新pip版本
更新pip版本

更新pip版本方法有使用pip自身更新、使用操作系统自带的包管理工具、使用python包管理工具、手动安装最新版本。想了解更多相关的内容,请阅读专题下面的文章。

436

2024.12.20

pip设置清华源
pip设置清华源

设置方法:1、打开终端或命令提示符窗口;2、运行“touch ~/.pip/pip.conf”命令创建一个名为pip的配置文件;3、打开pip.conf文件,然后添加“[global];index-url = https://pypi.tuna.tsinghua.edu.cn/simple”内容,这将把pip的镜像源设置为清华大学的镜像源;4、保存并关闭文件即可。

803

2024.12.23

python升级pip
python升级pip

本专题整合了python升级pip相关教程,阅读下面的文章了解更多详细内容。

370

2025.07.23

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

760

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.9万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号