lxml修复HTML/XML的核心方法是:先用etree.HTML()或HTMLParser(recover=True)自动修复语法错误,再用Cleaner过滤危险内容,必要时通过xpath手动调整结构。

lxml 的 etree.HTML() 和 etree.XML() 本身就会自动修复常见语法错误,但更可靠、更可控的方式是使用 lxml.html.clean 模块清理 HTML,配合 lxml.etree.Parser 的 recover 选项修复损坏结构。
用 HTMLParser 自动修复破损 HTML
面对缺失闭合标签、错位嵌套、未转义字符等常见问题,直接用带容错能力的解析器最省心:
- 启用
recover=True(默认开启)让 parser 尽力重建树结构 - 对严重破损的 HTML,显式创建
HTMLParser并设recover=True - 避免用
XMLParser解析 HTML——它更严格,容易报错退出
示例:
from lxml import etree, html自动修复并解析(推荐用于网页抓取结果)
broken_html = "
Hello world
立即学习“Python免费学习笔记(深入)”;
" tree = html.fromstring(broken_html) # 内部已用 recover=True 的 HTMLParser或显式控制
parser = html.HTMLParser(recover=True) tree = etree.parse(StringIO(broken_html), parser)
用 Cleaner 移除危险或冗余内容
lxml.html.clean.Cleaner 不修复结构,而是安全过滤:删 script/style、剥离 JS 事件、清理注释、标准化空白等。
- 默认只删 script/style,其他行为需手动开启
-
safe_attrs_only=True只保留白名单属性(如 class、id),去掉 onclick 等 -
page_structure=False允许保留 body 外的内容(如 head 中的 title) - 可组合使用:
Cleaner(...).clean_html(html_string)
示例:
from lxml.html.clean import Cleanercleaner = Cleaner( scripts=True, style=True, javascript=True, embedded=True, frames=True, meta=True, page_structure=False, safe_attrs_only=True, remove_unknown_tags=False ) clean_html = cleaner.clean_html("
OK
")→ "
OK
"
手动修补常见结构问题
对于 parser 无法自动纠正的深层问题(如孤立的 、错乱的表格嵌套),可结合 xpath 定位 + python 逻辑修复:
- 用
tree.xpath("//text()[normalize-space()='']")找空文本节点并移除 - 遍历所有
,检查是否被意外包在
里(HTML 规范不允许),用getparent().replace()调整- 用
etree.strip_tags(tree, 'font', 'center')直接删弃用标签- 对乱码或非法字符,先用
html.unescape()预处理字符串再解析XML 场景:用 XMLParser + recover 处理松散 XML
XML 比 HTML 更严格,但 lxml 的
XMLParser(recover=True)仍能处理部分错误(如缺失结束标签、未闭合属性):- 仅适用于“类 XML”的不规范输入,不是万能的;严重错误仍会失败
- 搭配
resolve_entities=False防止 DTD 实体攻击(尤其处理不可信输入时) - 修复后建议用
etree.tostring(tree, encoding='unicode')输出验证效果
示例:
from lxml import etree
broken_xml = "
" parser = etree.XMLParser(recover=True, resolve_entities=False) tree = etree.parse(StringIO(broken_xml), parser)- A
- B
基本上就这些。核心思路是:先用容错 parser 尽力恢复结构,再用 Cleaner 控制内容安全,必要时辅以 xpath + 手动调整。不复杂但容易忽略 recover 和 Cleaner 的组合使用。
- 用











