本教程将深入探讨如何在 pandas dataframe 中，依据一个包含多个关联id的逗号分隔字段，将对应id的url从不同行合并到一个新的逗号分隔列。我们将通过两种高效的 pandas 方法——结合 `explode`、`map` 和 `groupby`，以及利用列表推导式——来解决此常见数据转换问题，并对比其实现原理与适用场景，避免低效的循环操作。
在数据分析和处理中，我们经常会遇到需要根据某些关联ID从其他行查找并聚合信息的场景。本教程将以一个具体的例子，展示如何高效地处理这类问题。
数据结构与问题描述
假设我们有一个 Pandas DataFrame，其中包含 Ref (参考ID)、Option1_Ref (一个逗号分隔的关联ID列表) 和 URL (对应的路径)。我们的目标是创建一个新的列 options_url1，该列的值是根据 Option1_Ref 中的每个ID，从DataFrame中查找对应 Ref 的 URL，并将这些 URL 用逗号连接起来。
原始数据结构示例如下：
| Ref | Option1_Ref | URL |
|---|---|---|
| 1 | 2,3,4 | /path1 |
| 2 | 1,4,5 | /path2 |
| 3 | 1,6 | /path3 |
| 4 | 1,5 | /path4 |
| 4 | 2,5 | /path5 |
| 5 | 3,1 | /path6 |
| 7 | 2,5 | /path7 |
我们期望的输出结果，新增 options_url1 列：
| Ref | Option1_Ref | URL | options_url1 |
|---|---|---|---|
| 1 | 2,3,4 | /path1 | /path2,/path3,/path4 |
| 2 | 1,4,5 | /path2 | /path1,/path4,/path6 |
| 3 | 1,6 | /path3 | /path1,/path7 |
| 4 | 1,5 | /path4 | /path1,/path6 |
| 4 | 2,5 | /path5 | /path2,/path6 |
| 5 | 3,1 | /path6 | /path3,/path1 |
| 7 | 2,5 | /path7 | /path2,/path6 |
低效方法分析：为什么循环和错误的 assign 尝试不可取？
在 Pandas 中，直接使用 Python 的 for 循环遍历 DataFrame 的行通常效率低下，因为它无法充分利用 Pandas 底层的 C 语言优化。例如，问题中提到的 for 循环虽然有效，但在处理大型数据集时会非常慢：
# 示例：低效的for循环
# for x in df.index:
# df.loc[x,'options_url1']=','.join(df.loc[df['Ref'].isin(df.loc[x,"Option1_Ref"].split(',')),['URL','Ref']].drop_duplicates('Ref')['URL'].array)此外，尝试使用 df.assign 结合 isin 的方式也未能成功，主要原因是 isin 方法期望一个扁平的列表或集合作为查询条件，而不是一个包含列表的 Series。df['Ref'].isin(df["Option1_Ref"].str.split(',')) 这样的构造无法正确地将 Ref 列中的每个值与 Option1_Ref 中每个列表的元素进行匹配，导致结果不符合预期。
为了高效地解决这类问题，我们需要采用 Pandas 的矢量化操作。
解决方案一：利用 Pandas explode、map 和 groupby
这种方法是 Pandas 中处理列表型数据并进行关联聚合的强大组合，它通过将列表展开、进行映射，然后重新聚合来实现目标。
核心思想：
- 首先，创建一个 Ref 到 URL 的查找映射。
- 将 Option1_Ref 列中的逗号分隔字符串拆分为列表。
- 使用 explode() 将列表中的每个元素“展开”成单独的行，同时保留原始行的索引。
- 利用映射查找每个展开的 Ref 对应的 URL。
- 最后，根据原始行索引重新分组，并将所有找到的 URL 聚合起来。
步骤分解：
-
创建 Ref 到 URL 的映射 Series： 为了避免 Ref 列中可能存在的重复值导致映射不确定，我们首先对 Ref 列进行去重 (drop_duplicates('Ref'))。同时，将 Ref 列转换为字符串类型 (astype({'Ref': str}))，以确保与 Option1_Ref 拆分后的字符串ID类型一致。然后，将 Ref 设置为索引，URL 作为值，创建一个 Series s，用于快速查找。
# 原始数据 import pandas as pd data = { 'Ref': [1, 2, 3, 4, 4, 5, 7], 'Option1_Ref': ['2,3,4', '1,4,5', '1,6', '1,5', '2,5', '3,1', '2,5'], 'URL': ['/path1', '/path2', '/path3', '/path4', '/path5', '/path6', '/path7'] } df = pd.DataFrame(data) s = df.drop_duplicates('Ref').astype({'Ref': str}).set_index('Ref')['URL'] # print(s) # Ref # 1 /path1 # 2 /path2 # 3 /path3 # 4 /path4 # 注意：Ref=4 有两行，drop_duplicates会保留第一行 # 5 /path6 # 7 /path7 # Name: URL, dtype: object -
拆分 Option1_Ref 并 explode() 展开： 将 Option1_Ref 列的字符串按逗号拆分为列表，然后使用 explode() 方法将每个列表元素展开为单独的行。这会复制原始行的索引，为后续的 groupby 操作打下基础。
# df["Option1_Ref"].str.split(',').explode() # 0 2 # 0 3 # 0 4 # 1 1 # 1 4 # 1 5 # ... # Name: Option1_Ref, dtype: object 使用 map() 进行 URL 查找： 对展开后的 Series 使用 map(s)，将每个 Ref ID替换为其对应的 URL。如果某个 Ref ID在 s 中不存在，则会生成 NaN。
处理缺失值 (dropna())：dropna() 会移除那些未能成功映射（即在 s 中找不到对应 Ref）的行，确保只处理有效的 URL。
使用 groupby(level=0) 重新分组并 agg(','.join) 聚合：groupby(level=0) 依据原始行的索引进行分组。agg(','.join) 则将每个组内的所有 URL 字符串用逗号连接起来。
完整代码示例：
import pandas as pd
# 原始数据
data = {
'Ref': [1, 2, 3, 4, 4, 5, 7],
'Option1_Ref': ['2,3,4', '1,4,5', '1,6', '1,5', '2,5', '3,1', '2,5'],
'URL': ['/path1', '/path2', '/path3', '/path4', '/path5', '/path6', '/path7']
}
df = pd.DataFrame(data)
# 创建Ref到URL的映射Series
s = df.drop_duplicates('Ref').astype({'Ref': str}).set_index('Ref')['URL']
# 应用explode、map、groupby和agg
df['options_url1'] = (df["Option1_Ref"]
.str.split(',')
.explode()
.map(s)
.dropna() # 处理Option1_Ref中可能存在但s中没有的Ref
.groupby(level=0) # 按原始索引分组
.agg(','.join)) # 聚合URL
print("解决方案一输出：")
print(df)输出结果：
解决方案一输出： Ref Option1_Ref URL options_url1 0 1 2,3,4 /path1 /path2,/path3,/path4 1 2 1,4,5 /path2 /path1,/path4,/path6 2 3 1,6 /path3 /path1,/path7 3 4 1,5 /path4 /path1,/path6 4 4 2,5 /path5 /path2,/path6 5 5 3,1 /path6 /path3,/path1 6 7 2,5
