应使用iterparse流式解析配合蓄水池抽样：遍历XML时在end事件中对目标标签计数，前k个节点直接入样，后续第i个以k/i概率替换样本中随机一项，并及时调用elem.clear()释放内存。
直接加载整个大XML文件到内存会崩溃，必须用流式解析（SAX或iterparse）边读边抽样，避免一次性载入。
用 xml.etree.ElementTree.iterparse 流式遍历
这是最常用、轻量且标准库支持的方式。它不构建完整树，只在遇到指定标签时返回元素，处理完可立即清空内存。
- 用 events=("start", "end") 控制触发时机，推荐在 end 事件中处理已闭合的节点
- 用 elem.clear() 及时释放已处理节点的子树内存
- 对目标节点（如
或 - ）计数，并用蓄水池抽样（Reservoir Sampling）实现等概率随机抽取
实现蓄水池抽样（保证等概率）
当无法预知总节点数时，蓄水池抽样是唯一能在线、单次遍历下保证每个节点被选中概率相等的方法。
- 初始化一个大小为 k 的列表（如抽100个）
- 前 k 个节点直接放入
- 第 i 个节点（i > k）以概率 k / i 替换蓄水池中随机一个已有节点
- Python里可用 random.randint(0, i-1) 或更清晰的 random.random()
示例代码（抽取100个 节点）
注意：只保留文本/属性关键信息，不保留完整Element对象（避免引用导致内存不释放）
立即学习“Python免费学习笔记（深入）”；
import xml.etree.ElementTree as ET import randomdef sample_xml_nodes(file_path, tag_name, k=100): reservoir = [] count = 0 context = ET.iterparse(filepath, events=("start", "end")) , root = next(context) # 获取根节点，但不保留引用
for event, elem in context: if event == "end" and elem.tag == tag_name: count += 1 if len(reservoir) < k: # 前k个直接加入（可提取需要的字段） reservoir.append({ "text": elem.text.strip() if elem.text else "", "attrib": dict(elem.attrib), }) else: # 蓄水池替换：概率 k/count if random.random() < k / count: idx = random.randrange(k) reservoir[idx] = { "text": elem.text.strip() if elem.text else "", "attrib": dict(elem.attrib), } elem.clear() # 关键！释放内存 root.clear() # 可选，辅助清理 return reservoir使用
samples = sample_xml_nodes("huge.xml", "entry", k=100)
补充建议
- 若只需节点位置（如行号），可在解析时用 ET.XMLParser(target=...) 自定义Target，配合底层line number（需启用recover=False和strip_cdata=False等）
- 若XML有命名空间，务必在 tag_name 中带上完整命名空间URI，或先用 ET.register_namespace() 和命名空间映射简化
- 极端大小（>10GB）且只要少量样本时，也可考虑先用shell命令粗筛（如 grep -n "
" huge.xml | shuf -n 100 | cut -d: -f1 ），再用行号精定位解析——但需确保节点不跨行且格式规范
