本文介绍一种基于向量化操作的高效方法，用于在大型数据集中快速判断某交易日期是否在另一数据框中存在同证券代码、且日期落在其前两年范围内的匹配记录，避免低效的 `apply` 行遍历。
在金融数据分析中，常需判断某笔交易（如 df1 中的 tradeDate）是否与历史事件（如分红日 payoutDate 或期末日 endDate）在时间与标的上存在关联——典型场景是：对每条 df1 记录，检查相同 securityCode 下，df2 或 df3 中是否存在 payoutDate / endDate 落在 [tradeDate − 2年, tradeDate] 区间内的记录。若存在，则标记 condition = 1，否则为 0。
但原始方案使用 df1.apply(check_condition, axis=1) 遍历每一行，并在内部对 df2/df3 做布尔索引筛选，时间复杂度接近 O(n × m + n × k)，面对百万级 df1（382万行）时性能急剧下降。
✅ 正确解法应转向向量化连接 + 时间窗口预计算，核心思路如下：
- 统一日期类型：确保所有日期列（tradeDate, payoutDate, endDate）均为 datetime64[ns] 类型；
- 构建时间下界：对 df1['tradeDate'] 批量减去 2 年，生成 two_years_ago 列；
- 跨表关联而非逐行扫描：使用 pd.merge_asof（推荐）或 merge + 条件过滤实现高效区间匹配。
以下是推荐的高性能实现（兼顾准确性与可扩展性）：
import pandas as pd
import numpy as np
# ✅ 步骤1：统一转为 datetime（关键！）
for df in [df1, df2, df3]:
for col in df.columns:
if 'Date' in col or 'date' in col.lower():
df[col] = pd.to_datetime(df[col], format='%Y%m%d')
# ✅ 步骤2：为 df1 添加 two_years_ago 列
df1 = df1.copy()
df1['two_years_ago'] = df1['tradeDate'] - pd.DateOffset(years=2)
# ✅ 步骤3：分别对 df2 和 df3 进行「左连接 + 时间过滤」
# 注意：merge_asof 要求 key 升序，且仅支持单键 + 最近匹配；此处需精确区间匹配 → 改用 merge + query
def has_match_in_range(df_main, df_ref, main_date_col, ref_date_col, code_col='securityCode'):
# 左连接（保留 df_main 全部行），按 code 关联
merged = df_main.merge(
df_ref,
left_on=code_col,
right_on=code_col,
how='left',
suffixes=('', '_ref')
)
# 筛选 ref_date 在 [main_date−2y, main_date] 内的记录
mask = (
(merged[ref_date_col] >= merged['two_years_ago']) &
(merged[ref_date_col] <= merged[main_date_col])
)
# 每个主行只要存在任一匹配即为 True
return merged[mask].groupby(merged.index).size().astype(bool)
# 分别检查 df2 和 df3
match_df2 = has_match_in_range(df1, df2, 'tradeDate', 'payoutDate')
match_df3 = has_match_in_range(df1, df3, 'tradeDate', 'endDate')
# ✅ 步骤4：合并结果并赋值 condition
df1['condition'] = (match_df2 | match_df3).fillna(False).astype(int)? 关键优化点说明：
- ❌ 避免 apply + any()：它无法向量化，每次调用都触发完整 df2/df3 扫描；
- ✅ 使用 merge 实现笛卡尔式关联（受限于内存）或 merge_asof（需排序+近似匹配）；本例因需精确区间判断，merge + boolean mask 更稳妥；
- ⚠️ 若数据量极大（如 df1 × df2 合并后超内存），可改用分块处理或 dask；
- ? 若 df2/df3 有重复 securityCode，上述逻辑仍正确（groupby(...).size().astype(bool) 自动聚合多匹配）；
- ? 时间复杂度降至 O(n log n + m log m + k log k)（排序开销）+ O(n + m + k)（合并与过滤），远优于原始 O(n×m + n×k)。
最终 df1 将新增 condition 列，值为 1 表示该交易日在同代码下存在 2 年内的相关事件，0 表示无匹配——准确、可复现、且在百万级数据上运行秒级完成。
