本文介绍一种比逐行遍历更高效的pandas映射方法：通过stack()将查找表“反透视”为长格式，再与主表merge实现向量化映射，避免显式循环，显著提升性能。
本文介绍一种比逐行遍历更高效的pandas映射方法：通过stack()将查找表“反透视”为长格式，再与主表merge实现向量化映射，避免显式循环，显著提升性能。
在实际数据分析中，常需根据两个字段（如类别+状态）查表获取对应值——例如依据建筑子类型（Subtype）和建筑状况（Building Condition）查询推荐干预措施。若使用传统 for 循环配合 df.at 逐行索引（如原方案），时间复杂度为 O(n) 且存在Python层开销，在大数据量下性能瓶颈明显。
更优解是利用Pandas的向量化能力，将二维查找表转换为键值对结构，再通过一次合并完成批量映射。核心思路如下：
- 将查找表（df2）用 stack() 展平：将列名转为普通列，索引转为另一列，生成三列长格式数据（Subtype, Building Condition, Intervention）；
- 主表（df1）与该长格式表按两列自然键（Subtype + Building Condition）执行左连接（merge），即可一次性完成全部映射。
以下是完整、可复现的示例代码：
import pandas as pd
# 构造原始数据
df1 = pd.DataFrame({
'Subtype': ['A', 'B', 'C'],
'Building Condition': ['Good', 'Bad', 'Bad']
})
df2 = pd.DataFrame({
'Good': {'A': 'Repair', 'B': 'Retrofit', 'C': 'Reconstruct'},
'Bad': {'A': 'Retrofit', 'B': 'Reconstruct', 'C': 'Reconstruct'}
})
# ✅ 高效映射：stack + merge（向量化，无循环）
lookup_long = (df2
.stack() # 转为MultiIndex Series: (Subtype, Condition) → Intervention
.reset_index(name='Intervention') # 展平为DataFrame
.rename(columns={'level_0': 'Subtype', 'level_1': 'Building Condition'}))
result = df1.merge(lookup_long, on=['Subtype', 'Building Condition'], how='left')
print(result)输出：
Subtype Building Condition Intervention 0 A Good Repair 1 B Bad Reconstruct 2 C Bad Reconstruct
✅ 优势总结：
- 性能提升显著：避免Python级循环，底层调用优化的C/Fortran实现，尤其在万级行以上时提速可达5–10倍；
- 代码简洁健壮：逻辑清晰，不易出错，自动处理缺失键（how='left' 保留原表所有行，未匹配项为 NaN）；
- 扩展性强：支持任意多维查找表（如增加“Age Group”列），只需调整 stack() 后的列重命名逻辑。
⚠️ 注意事项：
- 确保 df2 的索引（行名）与 df1['Subtype'] 数据类型一致（如均为字符串），否则 merge 可能静默失败；
- 若 df2 行索引/列名为非标准标识符（含空格、特殊字符），建议提前用 df2.index.astype(str) 或 df2.columns.astype(str) 统一；
- 如需严格校验映射完整性（即每行都必须有匹配项），可追加断言：
assert result['Intervention'].notna().all(), "存在未匹配的Subtype-Condition组合"
该方法体现了Pandas“以数据形状驱动操作”的设计哲学——不强行适配原始宽表结构，而是主动重构为更适合关系运算的形态，是高效数据工程实践的典型范式。
