Python通过BeautifulSoup和lxml库高效解析HTML和XML，将结构化文本转化为树形数据模型。BeautifulSoup以容错性强、API简洁著称，适合处理不规范HTML；lxml性能优异，支持XPath与CSS选择器，适用于大型文件及严格标准的XML解析。
Python在处理HTML和XML这类结构化数据上，确实有几把刷子。简单来说，它主要是通过一些功能强大的第三方库，把这些原本对机器来说有点“乱”的文本，变成我们程序可以轻松理解和操作的数据结构，通常是树形的。这样一来，无论是从网页上抓取信息，还是处理各种配置文件、数据交换格式，都变得轻而易举。在我看来，掌握这些工具，就像是给你的Python工具箱里添了两把瑞士军刀，用处实在太广了。
要解析HTML和XML，Python社区提供了几个非常成熟且高效的库，其中最常用也最强大的莫过于
BeautifulSoup和
lxml。它们各有侧重，但都能将复杂的文本结构解析成易于遍历和查询的对象模型。
BeautifulSoup以其出色的容错性和简洁的API闻名。它能处理各种格式不规范的HTML文档，这在实际网页抓取中非常常见。它的核心思想是构建一个解析树，然后通过各种选择器（标签名、CSS类、ID等）来定位元素。
from bs4 import BeautifulSoup html_doc = """我的页面 Hello World
...
""" soup = BeautifulSoup(html_doc, 'html.parser') print(f"页面标题: {soup.title.string}") print(f"第一个段落文本: {soup.p.text.strip()}") print(f"所有链接的URL:") for link in soup.find_all('a'): print(link.get('href')) # 使用CSS选择器 print(f"通过CSS选择器找到的类为'sister'的链接文本:") for link in soup.select('a.sister'): print(link.get_text())
lxml则是一个高性能的库，它结合了libxml2和libxslt的功能，速度非常快，并且支持XPath和CSS选择器。它在处理大型文件或对性能有严格要求时表现出色。同时，
lxml在解析XML时也提供了更严格和标准的处理方式。
立即学习“Python免费学习笔记（深入）”；
from lxml import etree # 解析HTML html_doc_lxml = """我的页面 Hello World
...
""" # 使用HTML解析器 parser = etree.HTMLParser() tree_html = etree.fromstring(html_doc_lxml, parser) print(f"页面标题 (lxml): {tree_html.xpath('//title/text()')[0]}") print(f"所有链接的URL (lxml):") for link_href in tree_html.xpath('//a/@href'): print(link_href) # 解析XML xml_doc = """""" 商品A 100 商品B 200
