本文详解如何在 Pandas DataFrame 中，针对每个 code 独立地将列 A/B/C 中的 -1 视为缺失值进行前向填充（ffill），再按 calendardate 时间顺序输出结果，避免跨 code 污染或时间错序。
本文详解如何在 pandas dataframe 中，针对每个 `code` 独立地将列 a/b/c 中的 `-1` 视为缺失值进行前向填充（ffill），再按 `calendardate` 时间顺序输出结果，避免跨 code 污染或时间错序。
在时间序列分析中，常需对分组数据执行“按业务实体独立前向填充”的操作——例如，每个股票代码（code）的指标 A/B/C 若出现占位符 -1，应仅用该代码自身历史中最近的有效值（非 -1）覆盖，而非全局或按时间戳混填。原始方案误将 groupby('calendardate') 用于填充，导致同一时刻不同 code 的数据被错误聚合，且未保证各 code 内部按时间先后填充，因而产生 NaN 泄漏和逻辑断裂。
✅ 正确解法的核心是：先按 code 分组，再对每组内按 calendardate 自然顺序（默认升序）执行列级前向填充。Pandas 的 groupby(...)[cols].ffill() 默认保留原始行序，因此必须确保输入 DataFrame 已按 calendardate 排序，或显式排序后再分组填充。
以下是完整、可复现的实现步骤：
✅ 正确实现代码
import pandas as pd
import numpy as np
# 构造示例数据
data = {
'code': ['A1', 'A1', 'A1', 'A1', 'A1', 'A1', 'B1', 'B1', 'B1', 'B1'],
'calendardate': [
'2024-02-29 09:00:00', '2024-02-29 09:05:00', '2024-02-29 09:10:00', '2024-02-29 09:15:00',
'2024-02-29 09:20:00', '2024-02-29 09:25:00', '2024-02-29 09:00:00', '2024-02-29 09:05:00',
'2024-02-29 09:10:00', '2024-02-29 09:15:00'
],
'A': [10, -1, 20, -1, 30, 40, 50, -1, -1, 60],
'B': [-1, 15, -1, 25, -1, 35, -1, 45, -1, -1],
'C': [-1, -1, -1, 35, -1, -1, -1, -1, 55, 65]
}
df = pd.DataFrame(data)
df['calendardate'] = pd.to_datetime(df['calendardate'])
# 关键步骤：1. 将 -1 替换为 NaN；2. 按 code 分组，对 A/B/C 列分别前向填充；3. 按 calendardate 排序确保时间一致性
cols = ['A', 'B', 'C']
df[cols] = df.replace(-1, np.nan).groupby('code')[cols].ffill()
df = df.sort_values('calendardate').reset_index(drop=True)
# 输出验证（按时间顺序逐行打印）
for _, row in df.iterrows():
print(f"Datetime: {row['calendardate']}")
print(f"Code: {row['code']}")
print(f"A: {row['A'] if pd.notna(row['A']) else 'N/A'}")
print(f"B: {row['B'] if pd.notna(row['B']) else 'N/A'}")
print(f"C: {row['C'] if pd.notna(row['C']) else 'N/A'}")
print("-" * 30)? 输出说明（关键验证点）
运行后，2024-02-29 09:05:00 时刻的 A1 行将正确显示：
Datetime: 2024-02-29 09:05:00 Code: A1 A: 10.0 ← 来自前一时刻 A1 的有效值 10（非 -1） B: 15.0 ← 当前时刻 A1 的 B=15（原值有效） C: N/A ← A1 在此前无有效 C 值，保持 NaN ------------------------------
这完全符合需求：每个 code 独立维护状态，-1 被其自身历史中最邻近的有效值替代，且最终结果严格按时间升序排列。
⚠️ 注意事项与最佳实践
- 勿跳过 replace(-1, np.nan)：ffill() 仅识别 NaN，不处理任意数值（如 -1）。直接对 -1 调用 ffill() 无效。
- 分组依据必须是 code，而非 calendardate：按时间分组会打乱 code 的时序连续性，导致填充失效。
- 排序时机很重要：若原始数据未按 calendardate 排序，应在 groupby().ffill() 前或后执行 sort_values('calendardate')。推荐在填充后统一排序，确保最终输出时序严谨。
- 保留原始索引？ 使用 reset_index(drop=True) 可避免后续迭代中索引混乱；若需追溯原始位置，可保留 index 并在打印时显示。
- 扩展性提示：若需对更多列（如 D, E）执行相同逻辑，只需将列名加入 cols 列表即可，无需修改填充逻辑。
✅ 总结
解决此类“分组时间序列前向填充”问题，本质是明确两个维度：分组键（code）决定状态隔离边界，时间列（calendardate）决定填充方向。通过 replace → groupby → ffill → sort 四步链式操作，即可高效、准确、可读地达成目标。该模式适用于金融行情补全、IoT 设备状态延续、用户行为指标修复等典型场景。
