0

0

Python 文件读写中的编码陷阱

冰川箭仙

冰川箭仙

发布时间:2026-01-29 19:56:02

|

308人浏览过

|

来源于php中文网

原创

Windows下open()读中文文件报UnicodeDecodeError的根源是默认编码为cp1252而非UTF-8,解决方法是显式指定encoding='utf-8'或更稳妥的'utf-8-sig'以处理BOM。

python 文件读写中的编码陷阱

Windows 上用 open() 读中文文件报 UnicodeDecodeError

默认编码不匹配是 Windows 下最常踩的坑:open() 在 Windows 中默认用 cp1252(而非 utf-8)解码,而绝大多数中文文本文件是 UTF-8 编码。一旦文件含中文,就会抛出 UnicodeDecodeError: 'charmap' codec can't decode byte 0xXX

解决方法很简单:显式指定 encoding='utf-8'。但要注意——不是所有“UTF-8 文件”都真正 BOM-free;若文件带 BOM(如记事本另存为“UTF-8”时默认加的),utf-8 能正常读,但 utf-8-sig 更稳妥(自动剥离 BOM)。

  • utf-8-sig 读取记事本保存的“UTF-8”文件,避免开头出现 \ufeff
  • 写入时若需兼容旧系统(如某些 Windows 工具),可选 utf-8-sig,否则统一用 utf-8
  • 不要依赖 locale.getpreferredencoding() 判断读取编码——它返回的是控制台编码,和文件无关

用 pandas.read_csv() 读 CSV 中文列名乱码

根本原因和 open() 一样:pandas 默认用系统 locale 编码(Windows 是 cp1252)解析文件,而非 UTF-8。即使文件本身是 UTF-8,列名、数据也会变乱码。

read_csv()encoding 参数必须显式传入,且不能省略。常见错误是只设了 encoding='utf8' 却没处理 BOM,导致第一列名多出 

立即学习Python免费学习笔记(深入)”;

  • 优先试 encoding='utf-8-sig',尤其当 CSV 来自 Excel 或记事本
  • 若仍报错,用 chardet 库粗略探测:chardet.detect(open('x.csv', 'rb').read(10000)),但别全信结果
  • 避免用 encoding=None 或留空——pandas 不会自动猜编码

跨平台脚本中 encoding 参数写死成 'utf-8' 安全吗?

安全,而且推荐。Python 3.6+ 中 open() 默认编码已是 utf-8,但仅限于 CPython 实现且未被环境变量覆盖时;实际工程中,显式写死 encoding='utf-8' 反而是最可控的做法。

斯摩派(smapie)企业建站程序
斯摩派(smapie)企业建站程序

一个让ASP程序轻松做最少的代码编写量,一般企业所需要的功能都有,参数设置,数据库管理,文件管理,数据初始化,生成HTML页面(这是为了某些客户需要静态页面的需求),页面管理(这里是为了网站中某些单页面需求而开发的,这里你在前台只要用sub_c.article(2) 这个2是这里的id号,也可以是在比如index.asp?id=2 是一样的效果)公告管理,友情链接,信息发布(这里有分类,分类是无限

下载

真正危险的是“不写 encoding”,让 Python 去猜——它会查 locale.getpreferredencoding(),在 Linux/macOS 可能是 UTF-8,但在 Windows 很可能是 cp1252,导致同一份代码在不同机器上行为不一致。

  • 所有文本文件读写操作,只要内容含非 ASCII 字符,就必须带 encoding 参数
  • 写入时也需指定,否则 open('out.txt', 'w').write('中文') 在 Windows 可能静默失败或写乱码
  • pathlib.Path.read_text().write_text() 同样需要 encoding,默认值不可靠

二进制模式读写时还用管 encoding 吗?

不用——但你要清楚自己在做什么。用 'rb' / 'wb' 打开文件,返回的是 bytes,绕过了所有编码解码环节。此时 encoding 参数无效,也不该传。

常见误用:先用 open(..., 'rb') 读出 bytes,再用 .decode() 手动转字符串,却忘了指定解码器,或用了错误编码(比如用 gbk 解 UTF-8 字节流)。

  • 如果确定要手动 decode,务必明确原始字节来源的编码,例如 data.decode('utf-8')
  • codecs.open() 已过时,统一用内置 open() + encoding
  • 日志、配置、用户输入等涉及文本 IO 的地方,最容易漏掉 encoding —— 这些恰恰是最该加的地方

编码问题从不报错到突然崩溃,往往只差一个特殊字符。最保险的做法不是“看情况加”,而是“凡文本 IO,必写 encoding”。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

62

2025.12.04

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

298

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

212

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1502

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

624

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

633

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

589

2024.04.29

go语言字符串相关教程
go语言字符串相关教程

本专题整合了go语言字符串相关教程,阅读专题下面的文章了解更多详细内容。

172

2025.07.29

java入门学习合集
java入门学习合集

本专题整合了java入门学习指南、初学者项目实战、入门到精通等等内容,阅读专题下面的文章了解更多详细学习方法。

1

2026.01.29

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 8万人学习

Git 教程
Git 教程

共21课时 | 3.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号