本文详细介绍了如何利用 python 的 beautiful soup 库，结合 css 选择器和 `stripped_strings` 方法，从非结构化 html 中精确提取特定标签（如包含 `` 标签的 ` 在网络爬虫和数据抓取任务中，从 HTML 页面中提取特定信息是常见的需求。然而，HTML 结构往往不规则，目标文本可能隐藏在复杂的标签层级中，或者紧邻其他非目标内容。特别是当我们需要提取某个特定标签（如 <br>）之后的文本时，传统的 find() 或 find_all() 方法配合 next_sibling 可能会因为文本节点、空白字符等原因导致提取失败。本文将以一个具体的 HTML 结构为例，演示如何使用 Beautiful Soup 库，通过更强大的 CSS 选择器和字符串处理方法，高效且准确地提取所需文本。 假设我们有以下 HTML 片段，目标是提取 <td> 标签中 <strong> 标签之后、<br> 标签紧随其后的文本内容（例如 "aaa" 和 "bbb"）。 初次尝试可能通过 find_all('td', {'colspan': '2', 'strong': True}) 来定位目标 <td> 标签，然后尝试获取 <br> 的 next_sibling。然而，strong: True 并非有效的 td 标签属性，因此这种选择器无法准确匹配。即使能够定位到 <td>，br_tag.next_sibling.strip() 也可能因文本节点或空白字符处理不当而失败。 Beautiful Soup 提供了强大的 CSS 选择器功能，通过 soup.select() 方法可以实现更灵活、精确的元素定位。结合 stripped_strings 属性，我们可以有效地提取所需文本。 立即学习“前端免费学习笔记（深入）”； 以下是实现这一目标的 Python 代码： 输出结果： 通过本文的讲解，读者应该能够理解并运用 Beautiful Soup 的 select() 方法和 stripped_strings 属性，高效地从复杂的 HTML 结构中提取出所需的特定文本内容。这种方法不仅适用于本例，也能灵活应用于各种类似的网页数据抓取场景。`）内 `
` 标签之后的文本内容。教程通过示例代码演示了如何解决常见的数据提取挑战，并提供了高效、健壮的解决方案，适用于处理复杂的 html 结构。引言：HTML 文本提取的挑战
问题场景分析
<html>
<head></head>
<body>
<table style="max-width: 600px; margin: auto;">
<tbody>
<tr>
<td>Swan</td>
<td>Flower</td>
</tr>
<tr>
<td colspan="2" style="background: #ffffff;">
<h5>Playground</h5>
</td>
</tr>
<tr>
<td colspan="2">
<strong>Animal:</strong>
<br>aaa</td>
</tr>
<tr>
<td colspan="2">
<strong>Fish:</strong>
<br>bbb</td>
</tr>
<tr>
<td colspan="2" style="text-align: center;">
<form method="post">
<input type="hidden" name="yyy" value="7777">
<input type="hidden" name="rrr" value="wssss">
<input type="submit" value="djd ddd" style="width: 250px;">
</form>
</td>
</tr>
</tbody>
</table>
</body>
</html>解决方案：结合 CSS 选择器与 stripped_strings
核心思路
示例代码
from bs4 import BeautifulSoup
# 模拟 HTML 内容
html_text = """\
<html>
<head></head>
<body>
<table style="max-width: 600px; margin: auto;">
<tbody>
<tr>
<td>Swan</td>
<td>Flower</td>
</tr>
<tr>
<td colspan="2" style="background: #ffffff;">
<h5>Playground</h5>
</td>
</tr>
<tr>
<td colspan="2">
<strong>Animal:</strong>
<br>aaa</td>
</tr>
<tr>
<td colspan="2">
<strong>Fish:</strong>
<br>bbb</td>
</tr>
<tr>
<td colspan="2" style="text-align: center;">
<form method="post">
<input type="hidden" name="yyy" value="7777">
<input type="hidden" name="rrr" value="wssss">
<input type="submit" value="djd ddd" style="width: 250px;">
</form>
</td>
</tr>
</tbody>
</table>
</body>"""
# 使用 Beautiful Soup 解析 HTML
soup = BeautifulSoup(html_text, "html.parser")
# 使用 CSS 选择器定位所有包含 <strong> 标签的 <td> 元素
# ":has(strong)" 伪类选择器用于匹配包含指定子元素的父元素
target_tds = soup.select("td:has(strong)")
# 遍历每个目标 <td> 元素并提取所需文本
extracted_texts = []
for td in target_tds:
# `td.stripped_strings` 返回一个生成器，迭代所有子孙文本，并去除空白
# 将其转换为列表，并获取最后一个元素，即 `<br>` 后的文本
text = list(td.stripped_strings)[-1]
extracted_texts.append(text)
print(text)
print(f"\n所有提取的文本: {extracted_texts}")aaa
bbb
所有提取的文本: ['aaa', 'bbb']
代码解析
注意事项与总结
