XML解析前必须显式声明编码,否则xml.etree.ElementTree会默认用UTF-8解码;应先用codecs.open()按正确编码读取文件内容,再用ET.fromstring()解析,避免UnicodeDecodeError。

XML解析前必须显式声明编码,否则xml.etree.ElementTree会默认用UTF-8解码
Python的xml.etree.ElementTree.parse()在读取文件时,如果XML声明里没写encoding="GB18030",或声明了但实际内容编码不一致,就会直接抛UnicodeDecodeError。它不会自动探测编码,也不会 fallback 到系统 locale。
常见错误现象:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 123: invalid continuation byte
- 不要直接传文件路径给
parse(),先用正确编码读成字符串再解析 - 若XML头部有
,仍需按该编码打开文件——XML声明只是提示,不改变底层字节读取逻辑 - Windows平台上传的文件更易出现GB18030/GBK编码,尤其来自Excel另存为XML或国产办公软件导出
用codecs.open()配合io.StringIO安全加载非UTF-8 XML
绕过parse()内置文件读取逻辑,手动控制编码解码流程:
import codecs
import io
import xml.etree.ElementTree as ET
with codecs.open('input.xml', 'r', encoding='GB18030') as f:
content = f.read()
root = ET.fromstring(content)
这个模式适用于已知编码的场景。关键点:
-
codecs.open()能稳定支持'GB18030'、'GBK'、'GB2312'等中文编码,比内置open()兼容性更好 - 不用
ET.parse()而改用ET.fromstring(),避免它内部调用open()导致二次编码错误 - 如果文件极大(>50MB),改用
ET.iterparse()配合codecs.getreader('GB18030')(f)流式处理,防止内存爆炸
上传接口中动态识别编码并转UTF-8再解析
用户上传的XML编码不可控,不能硬编码GB18030。需在接收request.files后做编码探测:
- 优先检查XML声明行(前1024字节内是否有
encoding="xxx"),提取编码名 - 若无声明或提取失败,用
chardet.detect()分析前几KB字节(注意:对短XML不准,需设最小样本长度) - 探测结果不可信时,按
GB18030→GBK→UTF-8-SIG顺序尝试解码,任一成功即终止 - 解码成功后,统一转成UTF-8字符串再喂给
ET.fromstring(),后续所有处理都基于UTF-8,避免混用
示例关键判断逻辑:
raw_bytes = uploaded_file.read()
detected = chardet.detect(raw_bytes[:2048])
encoding = detected['encoding'] or 'GB18030'
try:
text = raw_bytes.decode(encoding)
except (UnicodeDecodeError, LookupError):
for enc in ['GB18030', 'GBK', 'UTF-8-SIG']:
try:
text = raw_bytes.decode(enc)
break
except UnicodeDecodeError:
continue
else:
raise ValueError("Unable to decode XML with any known encoding")
root = ET.fromstring(text)
Flask/FastAPI中处理上传文件时,别忽略Content-Type和BOM头
浏览器上传时,Content-Type常是application/xml或text/xml,但完全不可信;更麻烦的是带BOM的GB18030文件——BOM为0xFE 0xFF(UTF-16 BE)或0xFF 0xFE(UTF-16 LE),但GB18030本身不定义BOM,部分编辑器会错误添加。
- 用
raw_bytes.startswith(b'\xff\xfe')或b'\xef\xbb\xbf'提前检测BOM,有则剥离再解码 - FastAPI的
UploadFile.file是SpooledTemporaryFile,读取后指针偏移,重复.read()会返回空字节,需.seek(0)重置 - Flask中
request.files['file'].stream也是类似行为,别假设能多次读取 - 生产环境务必加
try/except包裹整个解码+解析流程,并记录原始filename和content_type用于排查
最易被忽略的一点:即使XML内容最终能解析,若其中文本节点含GB18030特有字符(如「〇」「〆」「㈱」),而数据库字段没设CHARACTER SET utf8mb4,入库时会静默截断或报错——编码转换必须贯穿从上传到落库的全链路。










