pandas merge遇重复键默认笛卡尔积组合；可用validate参数校验唯一性，suffixes区分列名，groupby聚合右表，indicator定位并过滤冗余匹配。
merge 时遇到重复键会怎样
直接 merge 两个含重复键的 DataFrame，默认行为是做笛卡尔积式组合——只要左表某行 key 和右表某行 key 相等，就生成一行结果。比如左表有 2 行 key=1，右表有 3 行 key=1，合并后会冒出 6 行。这不是 bug，是 pandas 的标准逻辑，但常被误认为“出错了”。
用 validate 参数提前发现重复问题
validate 不改变合并结果，只做校验并报错，适合在 ETL 流程中加一层保护：
-
validate="one_to_one"：要求左右 key 都唯一，任一端重复就报MergeError: Merge keys are not unique in either left or right dataset -
validate="one_to_many"：允许右表重复，但左表 key 必须唯一 -
validate="many_to_one"：允许左表重复，右表 key 必须唯一
示例：pd.merge(left, right, on="id", validate="one_to_many") —— 如果 left["id"] 出现重复，立刻中断，不等到下游才发现数据膨胀。
用 suffixes 和预处理区分重复键的语义
重复键未必是脏数据，有时是合理建模（如“用户多次下单”“设备多条状态记录”）。这时别急着去重，先看业务含义：
- 如果重复是因时间维度缺失，考虑补上
timestamp或version再作为复合 key 合并 - 如果必须按单字段合并，用
suffixes=("_left", "_right")显式标记列来源，避免后续df["amount"]模糊引用 - 对右表重复键，可先聚合：
right_agg = right.groupby("key").agg({"val": "mean", "flag": "first"})，再 merge
注意：how="outer" 下重复键仍会触发笛卡尔组合，suffixes 只解决列名冲突，不抑制行数爆炸。
用 indicator=True + 后过滤定位重复影响范围
当无法预判重复分布，又需要控制输出规模时，先带指示器 merge，再按需裁剪：
merged = pd.merge(left, right, on="id", indicator=True)
duplicated_in_left = merged["_merge"] == "both"
# 找出左表哪些 id 在右表匹配了 ≥2 行
problematic_ids = merged[duplicated_in_left].groupby("id").size()
over_merged = problematic_ids[problematic_ids > 1].index
# 过滤掉这些 id 的全部合并结果（或仅保留第一条）
cleaned = merged[~merged["id"].isin(over_merged)]这个模式比盲目 drop_duplicates 更可控——你知道删的是谁、为什么删。真正难的不是技术操作，是判断哪条重复记录该保留：是最新时间戳？最高优先级 flag？还是必须人工核对？
