Python通过BeautifulSoup和lxml库高效解析HTML和XML，将结构化文本转化为树形数据模型。BeautifulSoup以容错性强、API简洁著称，适合处理不规范HTML；lxml性能优异，支持XPath与CSS选择器，适用于大型文件及严格标准的XML解析。
Python在处理HTML和XML这类结构化数据上，确实有几把刷子。简单来说，它主要是通过一些功能强大的第三方库，把这些原本对机器来说有点“乱”的文本，变成我们程序可以轻松理解和操作的数据结构，通常是树形的。这样一来，无论是从网页上抓取信息，还是处理各种配置文件、数据交换格式，都变得轻而易举。在我看来，掌握这些工具，就像是给你的Python工具箱里添了两把瑞士军刀，用处实在太广了。
要解析HTML和XML，Python社区提供了几个非常成熟且高效的库，其中最常用也最强大的莫过于
BeautifulSoup和
lxml。它们各有侧重，但都能将复杂的文本结构解析成易于遍历和查询的对象模型。
BeautifulSoup以其出色的容错性和简洁的API闻名。它能处理各种格式不规范的HTML文档，这在实际网页抓取中非常常见。它的核心思想是构建一个解析树，然后通过各种选择器（标签名、CSS类、ID等）来定位元素。
from bs4 import BeautifulSoup
html_doc = """
<html><head><title>我的页面</title></head>
<body>
<p class="title"><b>Hello World</b></p>
<p class="story">这是一个故事。
<a href="http://example.com/link1" class="sister" id="link1">链接1</a>,
<a href="http://example.com/link2" class="sister" id="link2">链接2</a>，
还有一些<a href="http://example.com/link3" class="sister" id="link3">链接3</a>。
</p>
<p class="story">...</p>
</body></html>
"""
soup = BeautifulSoup(html_doc, 'html.parser')
print(f"页面标题: {soup.title.string}")
print(f"第一个段落文本: {soup.p.text.strip()}")
print(f"所有链接的URL:")
for link in soup.find_all('a'):
print(link.get('href'))
# 使用CSS选择器
print(f"通过CSS选择器找到的类为'sister'的链接文本:")
for link in soup.select('a.sister'):
print(link.get_text())lxml则是一个高性能的库，它结合了libxml2和libxslt的功能，速度非常快，并且支持XPath和CSS选择器。它在处理大型文件或对性能有严格要求时表现出色。同时，
lxml在解析XML时也提供了更严格和标准的处理方式。
立即学习“Python免费学习笔记（深入）”；
from lxml import etree
# 解析HTML
html_doc_lxml = """
<html><head><title>我的页面</title></head>
<body>
<p class="title"><b>Hello World</b></p>
<p class="story">这是一个故事。
<a href="http://example.com/link1" class="sister" id="link1">链接1</a>,
<a href="http://example.com/link2" class="sister" id="link2">链接2</a>，
还有一些<a href="http://example.com/link3" class="sister" id="link3">链接3</a>。
</p>
<p class="story">...</p>
</body></html>
"""
# 使用HTML解析器
parser = etree.HTMLParser()
tree_html = etree.fromstring(html_doc_lxml, parser)
print(f"页面标题 (lxml): {tree_html.xpath('//title/text()')[0]}")
print(f"所有链接的URL (lxml):")
for link_href in tree_html.xpath('//a/@href'):
print(link_href)
# 解析XML
xml_doc = """
<root>
<item id="1">
<name>商品A</name>
<price>100</price>
</item>
<item id="2">
<name>商品B</name>
<price>200</price>
</item>
</root>
""" 
