0

0

如何在 BeautifulSoup 中搜索跨节点的文本内容

碧海醫心

碧海醫心

发布时间:2026-01-04 10:37:18

|

997人浏览过

|

来源于php中文网

原创

如何在 BeautifulSoup 中搜索跨节点的文本内容

本文介绍如何使用 beautifulsoup 的 css 选择器伪类 :-soup-contains-own() 实现跨子节点的全文本匹配,解决 find_all(string=...) 无法匹配被 html 标签分隔的连续文本的问题。

在 BeautifulSoup 中,find_all(string='xxx') 仅能匹配直接子节点为纯文本(NavigableString)且内容完全一致的元素,无法处理文本被 <br>、<span>、<em> 等标签打断的场景。例如以下 HTML:

<body>
  <div>
    Python
    <br>
    BeautifulSoup
  </div>
</body>

其中 "Python BeautifulSoup" 在视觉上是连续的,但在 DOM 结构中被 <br> 拆分为两个独立的文本节点。此时 find_all(string=re.compile(r'Python.*BeautifulSoup')) 将返回空列表,因为没有任何单个 NavigableString 同时包含这两个词。

✅ 正确方案:使用 CSS 选择器 + :-soup-contains-own() 伪类(BeautifulSoup 4.12.0+ 支持)
该伪类会调用目标元素的 .get_text(strip=True) 方法(默认以空格连接子文本),并执行子字符串匹配(非正则、不区分大小写),从而天然支持跨节点文本搜索。

✅ 基础用法示例

from bs4 import BeautifulSoup

html = '''
<body>
  <div>
    Python
    <br>
    BeautifulSoup
  </div>
  <p>Learn <strong>Python</strong> and <em>BeautifulSoup</em> together.</p>
</body>
'''

soup = BeautifulSoup(html, 'html.parser')

# 查找所有「自身文本内容」包含 "Python BeautifulSoup" 的标签(支持空格归一化)
results = soup.select(':-soup-contains-own("Python BeautifulSoup")')
for tag in results:
    print(f"匹配标签: {tag.name}")
    print(f"归一化文本: '{tag.get_text(' ', strip=True)}'")
    print("---")

输出:

匹配标签: div
归一化文本: 'Python BeautifulSoup'
---
匹配标签: body
归一化文本: 'Python BeautifulSoup Learn Python and BeautifulSoup together.'
---
? 注意::-soup-contains-own() 匹配的是 元素自身的直接文本内容(即 tag.get_text() 的结果),不递归包含子元素的嵌套文本;若需包含全部后代文本,请改用 :-soup-contains()(但可能误匹配无关深层内容)。

⚠️ 重要注意事项

  • 必须使用 select() / select_one():find_all() 不支持伪类,不可写作 find_all(':-soup-contains-own(...)')。
  • 自动空格标准化:get_text(' ', strip=True) 会将换行、制表符、多空格统一为单空格,因此搜索 "Python BeautifulSoup" 可匹配 Python\n<br>\nBeautifulSoup。
  • 不支持正则表达式:该伪类仅做子串匹配(类似 in 操作),如需正则,请结合 Python 过滤:
    import re
    candidates = soup.select(':-soup-contains-own("Python")')
    matched = [t for t in candidates if re.search(r'Python\s+BeautifulSoup', t.get_text(' ', strip=True))]
  • ? 兼容性要求:需 BeautifulSoup ≥ 4.12.0,且解析器推荐使用 'html.parser' 或 'lxml'。

✅ 替代方案(旧版本兼容)

若无法升级 BS4,可手动实现跨节点文本搜索:

Mokker AI
Mokker AI

AI产品图添加背景

下载
def find_by_full_text(soup, text, tag=None):
    """查找自身 get_text() 包含指定文本的所有标签"""
    targets = soup.find_all(tag) if tag else soup.find_all(True)
    return [t for t in targets if text in t.get_text(' ', strip=True)]

# 使用
results = find_by_full_text(soup, "Python BeautifulSoup")

但此方法性能较低(遍历全部标签),且不支持 CSS 选择器语法,推荐优先使用 :-soup-contains-own()。

总之,:-soup-contains-own("...") 是 BeautifulSoup 中精准、高效、语义清晰的跨节点文本搜索标准方案,应作为处理此类需求的首选。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

531

2023.06.20

正则表达式不包含
正则表达式不包含

正则表达式,又称规则表达式,,是一种文本模式,包括普通字符和特殊字符,是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串,通常被用来检索、替换那些符合某个模式的文本。php中文网给大家带来了有关正则表达式的相关教程以及文章,希望对大家能有所帮助。

258

2023.07.05

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

766

2023.07.05

java正则表达式匹配字符串
java正则表达式匹配字符串

在Java中,我们可以使用正则表达式来匹配字符串。本专题为大家带来java正则表达式匹配字符串的相关内容,帮助大家解决问题。

219

2023.08.11

正则表达式空格
正则表达式空格

正则表达式空格可以用“s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。本专题为大家提供正则表达式相关的文章、下载、课程内容,供大家免费下载体验。

357

2023.08.31

Python爬虫获取数据的方法
Python爬虫获取数据的方法

Python爬虫可以通过请求库发送HTTP请求、解析库解析HTML、正则表达式提取数据,或使用数据抓取框架来获取数据。更多关于Python爬虫相关知识。详情阅读本专题下面的文章。php中文网欢迎大家前来学习。

293

2023.11.13

正则表达式空格如何表示
正则表达式空格如何表示

正则表达式空格可以用“s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。想了解更多正则表达式空格怎么表示的内容,可以访问下面的文章。

245

2023.11.17

正则表达式中如何匹配数字
正则表达式中如何匹配数字

正则表达式中可以通过匹配单个数字、匹配多个数字、匹配固定长度的数字、匹配整数和小数、匹配负数和匹配科学计数法表示的数字的方法匹配数字。更多关于正则表达式的相关知识详情请看本专题下面的文章。php中文网欢迎大家前来学习。

547

2023.12.06

Python异步编程与Asyncio高并发应用实践
Python异步编程与Asyncio高并发应用实践

本专题围绕 Python 异步编程模型展开,深入讲解 Asyncio 框架的核心原理与应用实践。内容包括事件循环机制、协程任务调度、异步 IO 处理以及并发任务管理策略。通过构建高并发网络请求与异步数据处理案例,帮助开发者掌握 Python 在高并发场景中的高效开发方法,并提升系统资源利用率与整体运行性能。

37

2026.03.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Sass 教程
Sass 教程

共14课时 | 0.9万人学习

Bootstrap 5教程
Bootstrap 5教程

共46课时 | 3.6万人学习

CSS教程
CSS教程

共754课时 | 42.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号