0

0

如何基于子字符串匹配实现 Pandas DataFrame 左连接

心靈之曲

心靈之曲

发布时间:2026-01-12 18:52:21

|

217人浏览过

|

来源于php中文网

原创

如何基于子字符串匹配实现 Pandas DataFrame 左连接

本文介绍一种高效、可靠的方法:通过正则提取 + 左连接,将 dataframe `a` 中的名称字段与 dataframe `b` 的 id 字段(含前缀格式如 `"name-123"`)进行子字符串匹配关联,并确保一对多关系正确展开。

在实际数据处理中,常遇到“模糊主键”场景:一个表(如 a)含规范名称("Name"),另一表(如 b)含复合标识符("ID",如 "Boomhaur-2345"),需按名称是否为 ID 的前缀子串建立关联。此时无法直接使用 merge(on=...),但可通过正则表达式精准提取并桥接。

核心思路分两步:

  1. 从 b["ID"] 中提取所有可能匹配 a["Name"] 的子串,生成临时键 _name;
  2. 以 a["Name"] 与 b["_name"] 为键执行左连接(left merge),天然支持 a 中单个名称匹配 b 中多个 ID(如 "Bill" → "Bill-000" 和 "Bill-001"),且未匹配项自动填充 NaN(如 "Hank")。

以下是完整可运行代码:

Hotpot AI Background Remover
Hotpot AI Background Remover

Hotpot.ai推出的图片背景移除工具

下载
import pandas as pd

# 构造示例数据
a = pd.DataFrame({"Name": ["Boomhaur", "Dale", "Bill", "Hank"]})
b = pd.DataFrame({"ID": ["Boomhaur-2345", "Dale-999999", "Bill-000", "Bill-001", "Peggy-420"]})

# 步骤1:构建正则模式,确保单词边界匹配(避免 'Bill' 错配 'Billy')
names_pattern = r'(' + '|'.join(a['Name'].str.replace(r'[^w]', r'\$0', regex=True)) + r')'
b['_name'] = b["ID"].str.extract(names_pattern)

# 步骤2:左连接,保留 a 全部行,扩展匹配的 ID 及其他字段
result = a.merge(b, how='left', left_on='Name', right_on='_name').drop(columns=['_name'])

print(result)

输出结果:

      Name             ID
0  Boomhaur  Boomhaur-2345
1      Dale    Dale-999999
2      Bill       Bill-000
3      Bill       Bill-001
4      Hank            NaN

关键注意事项

  • 使用 (单词边界)防止部分匹配(如 "Bill" 不应匹配 "Billy-123");
  • 对 a["Name"] 中可能含正则元字符(如 .、*、+)的值,务必先用 str.replace(..., regex=True) 转义,否则正则会失效或报错;
  • 若 b 含多列需保留,merge 会自动带入(无需额外操作);
  • how='left' 确保 a 行数不变,未匹配项 ID 为 NaN,符合题目中 "Hank → NaN" 的要求。

该方案时间复杂度为 O(n·m),适用于中等规模数据;若数据量极大(百万级),可考虑预构建 b 的映射字典或使用 swifter 加速正则提取。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

530

2023.06.20

正则表达式不包含
正则表达式不包含

正则表达式,又称规则表达式,,是一种文本模式,包括普通字符和特殊字符,是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串,通常被用来检索、替换那些符合某个模式的文本。php中文网给大家带来了有关正则表达式的相关教程以及文章,希望对大家能有所帮助。

258

2023.07.05

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

764

2023.07.05

java正则表达式匹配字符串
java正则表达式匹配字符串

在Java中,我们可以使用正则表达式来匹配字符串。本专题为大家带来java正则表达式匹配字符串的相关内容,帮助大家解决问题。

219

2023.08.11

正则表达式空格
正则表达式空格

正则表达式空格可以用“s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。本专题为大家提供正则表达式相关的文章、下载、课程内容,供大家免费下载体验。

355

2023.08.31

Python爬虫获取数据的方法
Python爬虫获取数据的方法

Python爬虫可以通过请求库发送HTTP请求、解析库解析HTML、正则表达式提取数据,或使用数据抓取框架来获取数据。更多关于Python爬虫相关知识。详情阅读本专题下面的文章。php中文网欢迎大家前来学习。

293

2023.11.13

正则表达式空格如何表示
正则表达式空格如何表示

正则表达式空格可以用“s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。想了解更多正则表达式空格怎么表示的内容,可以访问下面的文章。

244

2023.11.17

正则表达式中如何匹配数字
正则表达式中如何匹配数字

正则表达式中可以通过匹配单个数字、匹配多个数字、匹配固定长度的数字、匹配整数和小数、匹配负数和匹配科学计数法表示的数字的方法匹配数字。更多关于正则表达式的相关知识详情请看本专题下面的文章。php中文网欢迎大家前来学习。

545

2023.12.06

Golang 测试体系与代码质量保障:工程级可靠性建设
Golang 测试体系与代码质量保障:工程级可靠性建设

Go语言测试体系与代码质量保障聚焦于构建工程级可靠性系统。本专题深入解析Go的测试工具链(如go test)、单元测试、集成测试及端到端测试实践,结合代码覆盖率分析、静态代码扫描(如go vet)和动态分析工具,建立全链路质量监控机制。通过自动化测试框架、持续集成(CI)流水线配置及代码审查规范,实现测试用例管理、缺陷追踪与质量门禁控制,确保代码健壮性与可维护性,为高可靠性工程系统提供质量保障。

48

2026.02.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
AngularJS教程
AngularJS教程

共24课时 | 3.9万人学习

【李炎恢】ThinkPHP8.x 后端框架课程
【李炎恢】ThinkPHP8.x 后端框架课程

共50课时 | 4.7万人学习

Swoft2.x速学之http api篇课程
Swoft2.x速学之http api篇课程

共16课时 | 1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号