在 pyspark 中处理包含 xml 数据的场景并不少见，pyspark.sql.functions.xpath 函数为我们提供了一种强大的方式来从 xml 字符串中提取所需的信息。然而，许多开发者在使用此函数尝试提取 xml 元素的文本内容时，会遇到一个常见的困惑：xpath 函数返回的不是预期的文本值，而是一个包含空值（null）的数组。本文将深入探讨这一问题的原因，并提供一个清晰、专业的解决方案。
当我们使用 xpath 函数从 XML 字符串中提取数据时，如果目标是某个元素的内部文本，但 XPath 表达式仅指定到元素本身，例如 /Root/Customers/Customer/Name，xpath 函数可能会返回一个空值数组。
考虑以下嵌套的 XML 结构：
<?xml version="1.0" encoding="utf-8"?>
<Root>
<Customers>
<Customer CustomerID="1">
<Name>John Doe</Name>
<Address>...</Address>
<PhoneNo>123-456-7890</PhoneNo>
</Customer>
<Customer CustomerID="2">
<Name>Jane Smith</Name>
<Address>...</Address>
<PhoneNo>987-654-3210</PhoneNo>
</Customer>
</Customers>
<Orders>...</Orders>
</Root>如果我们尝试使用 xpath(Data, '/Root/Customers/Customer/Name') 来提取 Name 标签内的文本，例如 "John Doe"，结果往往是一个 [null, null, ...] 这样的数组。这是因为 XPath 表达式 /Root/Customers/Customer/Name 实际上选择的是 <Name>John Doe</Name> 这个 元素节点本身，而不是该节点内部的 文本内容。xpath 函数在没有明确指令的情况下，可能无法自动解析并返回元素节点的直接文本值。
解决上述问题的关键在于在 XPath 表达式中明确指示要提取的是元素的 文本子节点。这通过在元素路径后添加 /text() 来实现。
通过在需要提取文本内容的元素路径后加上 /text()，我们可以精确地指示 xpath 函数返回我们期望的文本数据。
以下是一个完整的 PySpark 示例，展示了如何从包含 XML 字符串的 DataFrame 中正确提取元素文本和属性值。
首先，初始化 SparkSession 并模拟一个包含 XML 字符串的 DataFrame。
from pyspark.sql import SparkSession
from pyspark.sql.functions import *
spark = SparkSession.builder.appName("XML_Extraction_Tutorial").getOrCreate()
# 模拟包含XML数据的DataFrame
xml_string = """<?xml version="1.0" encoding="utf-8"?>
<Root>
<Customers>
<Customer CustomerID="1">
<Name>John Doe</Name>
<Address>
<Street>123 Main St</Street>
<City>Anytown</City>
<State>CA</State>
<Zip>12345</Zip>
</Address>
<PhoneNo>123-456-7890</PhoneNo>
</Customer>
<Customer CustomerID="2">
<Name>Jane Smith</Name>
<Address>
<Street>456 Oak St</Street>
<City>Somecity</City>
<State>NY</State>
<Zip>67890</Zip>
</Address>
<PhoneNo>987-654-3210</PhoneNo>
</Customer>
<Customer CustomerID="3">
<Name>Bob Johnson</Name>
<Address>
<Street>789 Pine St</Street>
<City>Othercity</City>
<State>TX</State>
<Zip>11223</Zip>
</Address>
<PhoneNo>456-789-0123</PhoneNo>
</Customer>
</Customers>
<Orders>
<Order>
<CustomerID>1</CustomerID>
<EmpID>100</EmpID>
<OrderDate>2022-01-01</OrderDate>
<Cost>100.50</Cost>
</Order>
<Order>
<CustomerID>2</CustomerID>
<EmpID>101</EmpID>
<OrderDate>2022-01-02</OrderDate>
<Cost>200.75</Cost>
</Order>
</Orders>
</Root>"""
# 假设XML字符串可能被双引号包裹，这里模拟这种情况
df_Customers_Orders = spark.createDataFrame([{"Data": f'"{xml_string}"'}])
df_Customers_Orders.show(truncate=False)如果从 CSV 等源文件读取的 XML 字符串被额外的双引号包裹或包含转义字符，需要进行清理。
# 移除XML字符串外部的双引号
df_Customers_Orders = df_Customers_Orders.withColumn(
"Data", expr("substring(Data, 2, length(Data)-2)")
)
# 替换内部可能存在的转义双引号 "" 为 " (如果需要)
df_Customers_Orders = df_Customers_Orders.withColumn(
"Data", regexp_replace("Data", '""', '"')
)
df_Customers_Orders.show(truncate=False)展示不带 /text() 的代码如何导致空值数组。
# 错误尝试：不带 /text() 提取文本内容
df_sample_CustomersOrders_incorrect = df_Customers_Orders.selectExpr(
"xpath(Data,'/Root/Customers/Customer/@CustomerID') as CustomerID",
"xpath(Data,'/Root/Customers/Customer/Name') as ContactName", # 缺少 /text()
"xpath(Data,'/Root/Customers/Customer/PhoneNo') as PhoneNo", # 缺少 /text()
)
print("--- 错误示例输出 (缺少 /text()) ---")
df_sample_CustomersOrders_incorrect.show(truncate=False)输出将类似：
--- 错误示例输出 (缺少 /text()) --- +----------+------------------------+------------------------+ |CustomerID|ContactName |PhoneNo | +----------+------------------------+------------------------+ | [1, 2, 3]|[null, null, null, null]|[null, null, null, null]| +----------+------------------------+------------------------+
现在，我们使用正确的 XPath 表达式来提取数据。
# 正确示例：使用 /text() 提取文本内容
df_sample_CustomersOrders_correct = df_Customers_Orders.selectExpr(
"xpath(Data,'/Root/Customers/Customer/@CustomerID') as CustomerID",
"xpath(Data,'/Root/Customers/Customer/Name/text()') as ContactName",
"xpath(Data,'/Root/Customers/Customer/PhoneNo/text()') as PhoneNo",
)
print("--- 正确示例输出 (使用 /text()) ---")
df_sample_CustomersOrders_correct.show(truncate=False)
# 如果需要将结果写入CSV
# df_sample_CustomersOrders_correct.write.format("csv").option("header", "true").mode("overwrite").save("path.csv")输出将显示正确提取的文本内容：
--- 正确示例输出 (使用 /text()) --- +----------+----------------------------+----------------------------+ |CustomerID|ContactName |PhoneNo | +----------+----------------------------+----------------------------+ | [1, 2, 3]|[John Doe, Jane Smith, Bob Johnson]|[123-456-7890, 987-654-3210, 456-789-0123]| +----------+----------------------------+----------------------------+
pyspark.sql.functions.xpath 是 PySpark 中处理 XML 数据的强大工具。理解其工作原理，特别是如何使用 /text() 来准确提取 XML 元素的文本内容，是避免常见数据提取错误的关键。通过本文的详细解释和示例，希望能够帮助开发者在 PySpark 中更有效地处理 XML 数据，确保数据处理的准确性和可靠性。
以上就是PySpark XPath 函数：深入理解如何正确提取 XML 元素文本的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
789
收藏
