Parquet与XML本质不同,无直接转换协议,需通过pandas DataFrame桥接:Parquet→XML用read_parquet()+to_xml()(扁平)或xml.etree/lxml(嵌套);XML→Parquet用xmltodict解析后转DataFrame再to_parquet()。

Parquet 和 XML 是两类根本不同的数据格式:前者是二进制列式存储,面向高性能分析;后者是文本型树状标记语言,面向可读性与跨系统交换。它们之间没有直接互转协议或原生转换器,必须通过中间结构(通常是内存中的 dict 或 DataFrame)桥接。
用 Python + pandas 实现 Parquet ↔ XML 的实际路径
这是目前最稳定、可控、适合中小规模数据的方案。核心思路是:先读成 pandas.DataFrame(统一中间表示),再分别导出为目标格式。
-
Parquet → XML:用
pandas.read_parquet()加载,再遍历行构造xml.etree.ElementTree或用lxml生成带命名空间/嵌套的 XML;若只需扁平结构,也可用to_xml()(pandas ≥ 1.3.0) -
XML → Parquet:先解析 XML 成
list[dict](推荐xmltodict或lxml.objectify),再转成DataFrame,最后调用to_parquet() - 注意:pandas 的
to_xml()不支持嵌套结构(如),遇到复杂层级必须手写生成逻辑Shanghai - 大文件(>500MB)慎用全量加载到内存——XML 解析易 OOM,Parquet 读取虽快但反序列化后 DataFrame 占用翻倍
import pandas as pd import xmltodictXML → Parquet 示例(假设 XML 是扁平列表结构)
with open("data.xml", "r") as f: xml_data = xmltodict.parse(f.read()) df = pd.DataFrame(xml_data["root"]["record"]) # 根据实际 XML 结构调整 key df.to_parquet("output.parquet", index=False)
Parquet → XML 示例(使用 pandas 内置 to_xml,仅限简单 flat schema)
df = pd.read_parquet("input.parquet") df.to_xml("output.xml", root_name="records", row_name="record", xml_declaration=True)
为什么不能用 Spark 或 Hive 直接转?
Spark 支持 read.parquet() 和 write.xml()(需第三方包 spark-xml),但二者生态割裂:
-
spark-xml只支持从 XML 读取,不支持写入;且对重复标签、混合文本+子元素等常见 XML 模式支持极弱 - Hive / Impala 完全不支持 XML 作为表存储格式(
STORED AS XML不存在),只能把 XML 当作STRING字段存,失去结构意义 - 在 Azure Data Factory 或 Fabric 中,
XML连接器仅支持“扁平化”解析(即 XPath 提取单层字段),无法还原原始嵌套结构,更无法反向生成合法 XML
换句话说:只要 XML 含有任意嵌套、属性、命名空间或混合内容,Spark/Hive 就不是可行路径。
JSON 即 JavaScript Object Natation,它是一种轻量级的数据交换格式,非常适合于服务器与 JavaScript 的交互。本文将快速讲解 JSON 格式,并通过代码示例演示如何分别在客户端和服务器端进行 JSON 格式数据的处理。
常见报错和坑点直击
实操中最容易卡在类型映射和空值处理上:
-
ParquetMissedDecimalPrecisionScale:当 Parquet 文件中某列为decimal但 schema 缺少precision/scale元信息,pandas 会默认转成float64,再导出 XML 时精度丢失(如123.450变成123.45)。解决:读取时强制指定 dtype,或用pyarrow引擎保留 decimal -
xml.etree.ElementTree.ParseError: not well-formed:常因 XML 原文含未转义字符(如&,,]]>)。别自己 replace,改用lxml.etree.fromstring()并设置recover=True - 中文乱码:XML 声明里写的是
encoding="GBK",但 Python 默认按 UTF-8 打开。务必显式传encoding="gbk"给open() - XML 导出后无换行缩进:pandas
to_xml()不支持美化。如需可读 XML,得用xml.dom.minidom重新格式化字符串
什么时候该放弃互转?
如果 XML 是配置类、文档类或含大量注释/处理指令()、CDATA 块、DTD 声明——这些语义在 Parquet 中完全无法表达,硬转只会丢信息。同理,Parquet 中的 LIST、MAP、STRUCT 类型也无法一对一映射到 XML 元素关系。
真正需要的往往不是“格式转换”,而是“语义等价的数据提取”。比如:从 XML 日志中抽取出 timestamp、event_type、user_id 三列,存为 Parquet 供分析——这时你只需要 XPath 或 xmltodict 提取字段,而不是试图把整个 XML 树塞进 Parquet。









