0

0

如何在上传时处理GB18030等非UTF-8编码的XML文件

月夜之吻

月夜之吻

发布时间:2026-01-23 03:01:21

|

358人浏览过

|

来源于php中文网

原创

xml解析前必须显式声明编码,否则xml.etree.elementtree会默认用utf-8解码;应先用codecs.open()按正确编码读取文件内容,再用et.fromstring()解析,避免unicodedecodeerror。

如何在上传时处理gb18030等非utf-8编码的xml文件

XML解析前必须显式声明编码,否则xml.etree.ElementTree会默认用UTF-8解码

Python的xml.etree.ElementTree.parse()在读取文件时,如果XML声明里没写encoding="GB18030",或声明了但实际内容编码不一致,就会直接抛UnicodeDecodeError。它不会自动探测编码,也不会 fallback 到系统 locale。

常见错误现象:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 123: invalid continuation byte

  • 不要直接传文件路径给parse(),先用正确编码读成字符串再解析
  • 若XML头部有<?xml version="1.0" encoding="GB18030"?>,仍需按该编码打开文件——XML声明只是提示,不改变底层字节读取逻辑
  • Windows平台上传的文件更易出现GB18030/GBK编码,尤其来自Excel另存为XML或国产办公软件导出

codecs.open()配合io.StringIO安全加载非UTF-8 XML

绕过parse()内置文件读取逻辑,手动控制编码解码流程:

import codecs
import io
import xml.etree.ElementTree as ET

with codecs.open('input.xml', 'r', encoding='GB18030') as f:
    content = f.read()
root = ET.fromstring(content)

这个模式适用于已知编码的场景。关键点:

mPDF
mPDF

mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),包括边距、边框、填充、行高、背景颜色等。支持从右到左的语言,并自动检测文档中的RTL字符。转置表格、列表、文本

下载
  • codecs.open()能稳定支持'GB18030''GBK''GB2312'等中文编码,比内置open()兼容性更好
  • 不用ET.parse()而改用ET.fromstring(),避免它内部调用open()导致二次编码错误
  • 如果文件极大(>50MB),改用ET.iterparse()配合codecs.getreader('GB18030')(f)流式处理,防止内存爆炸

上传接口中动态识别编码并转UTF-8再解析

用户上传的XML编码不可控,不能硬编码GB18030。需在接收request.files后做编码探测:

  • 优先检查XML声明行(前1024字节内是否有encoding="xxx"),提取编码名
  • 若无声明或提取失败,用chardet.detect()分析前几KB字节(注意:对短XML不准,需设最小样本长度)
  • 探测结果不可信时,按GB18030GBKUTF-8-SIG顺序尝试解码,任一成功即终止
  • 解码成功后,统一转成UTF-8字符串再喂给ET.fromstring(),后续所有处理都基于UTF-8,避免混用

示例关键判断逻辑:

raw_bytes = uploaded_file.read()
detected = chardet.detect(raw_bytes[:2048])
encoding = detected['encoding'] or 'GB18030'
try:
    text = raw_bytes.decode(encoding)
except (UnicodeDecodeError, LookupError):
    for enc in ['GB18030', 'GBK', 'UTF-8-SIG']:
        try:
            text = raw_bytes.decode(enc)
            break
        except UnicodeDecodeError:
            continue
    else:
        raise ValueError("Unable to decode XML with any known encoding")
root = ET.fromstring(text)

Flask/FastAPI中处理上传文件时,别忽略Content-Type和BOM头

浏览器上传时,Content-Type常是application/xmltext/xml,但完全不可信;更麻烦的是带BOM的GB18030文件——BOM为0xFE 0xFF(UTF-16 BE)或0xFF 0xFE(UTF-16 LE),但GB18030本身不定义BOM,部分编辑器会错误添加。

  • raw_bytes.startswith(b'\xff\xfe')b'\xef\xbb\xbf'提前检测BOM,有则剥离再解码
  • FastAPI的UploadFile.fileSpooledTemporaryFile,读取后指针偏移,重复.read()会返回空字节,需.seek(0)重置
  • Flask中request.files['file'].stream也是类似行为,别假设能多次读取
  • 生产环境务必加try/except包裹整个解码+解析流程,并记录原始filenamecontent_type用于排查

最易被忽略的一点:即使XML内容最终能解析,若其中文本节点含GB18030特有字符(如「〇」「〆」「㈱」),而数据库字段没设CHARACTER SET utf8mb4,入库时会静默截断或报错——编码转换必须贯穿从上传到落库的全链路。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python Flask框架
Python Flask框架

本专题专注于 Python 轻量级 Web 框架 Flask 的学习与实战,内容涵盖路由与视图、模板渲染、表单处理、数据库集成、用户认证以及RESTful API 开发。通过博客系统、任务管理工具与微服务接口等项目实战,帮助学员掌握 Flask 在快速构建小型到中型 Web 应用中的核心技能。

104

2025.08.25

Python Flask Web框架与API开发
Python Flask Web框架与API开发

本专题系统介绍 Python Flask Web框架的基础与进阶应用,包括Flask路由、请求与响应、模板渲染、表单处理、安全性加固、数据库集成(SQLAlchemy)、以及使用Flask构建 RESTful API 服务。通过多个实战项目,帮助学习者掌握使用 Flask 开发高效、可扩展的 Web 应用与 API。

81

2025.12.15

Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

28

2025.12.22

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

251

2026.02.06

pdf怎么转换成xml格式
pdf怎么转换成xml格式

将 pdf 转换为 xml 的方法:1. 使用在线转换器;2. 使用桌面软件(如 adobe acrobat、itext);3. 使用命令行工具(如 pdftoxml)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1946

2024.04.01

xml怎么变成word
xml怎么变成word

步骤:1. 导入 xml 文件;2. 选择 xml 结构;3. 映射 xml 元素到 word 元素;4. 生成 word 文档。提示:确保 xml 文件结构良好,并预览 word 文档以验证转换是否成功。想了解更多xml的相关内容,可以阅读本专题下面的文章。

2119

2024.08.01

xml是什么格式的文件
xml是什么格式的文件

xml是一种纯文本格式的文件。xml指的是可扩展标记语言,标准通用标记语言的子集,是一种用于标记电子文件使其具有结构性的标记语言。想了解更多相关的内容,可阅读本专题下面的相关文章。

1168

2024.11.28

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

760

2023.08.03

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

3

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

相关下载

更多

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Excel 教程
Excel 教程

共162课时 | 21万人学习

成为PHP架构师-自制PHP框架
成为PHP架构师-自制PHP框架

共28课时 | 2.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号