
本文介绍如何在 Polars 中为每个以 "Life" 开头、以 "Death" 结尾的连续区间,高效计算指定列(如 Column A)的最大值,并仅将结果填充至对应 "Life" 行,其余行置为 null。
本文介绍如何在 polars 中为每个以 "life" 开头、以 "death" 结尾的连续区间,高效计算指定列(如 `column a`)的最大值,并仅将结果填充至对应 "life" 行,其余行置为 `null`。
在数据处理中,常需基于语义边界(如状态标记 "Life" 和 "Death")划分逻辑区间,并对区间内数值列进行聚合。Polars 本身不提供原生的“区间分组”操作,但可通过累积运算与条件逻辑组合构建等效的分组标识(group_id),再结合 over() 实现分组聚合。该方法兼具性能优势与表达简洁性,适用于大规模数据场景。
以下为完整实现步骤(含可运行代码):
✅ 步骤一:构造区间分组 ID
核心思想是:
- 每次遇到 "Life",视为新区间开始;
- 每次遇到 "Death",视为当前区间结束;
- 同一 "Life" 到其后首个 "Death"(含)之间的所有行属于同一组;
- "Death" 行本身不参与聚合,但需将其 group_id 归入前一 "Life" 所属组(即向后对齐)。
利用 cum_sum() 和 forward_fill() 构建基础分组信号,再通过 shift() 校正 "Death" 行归属:
import polars as pl
df = pl.DataFrame({
"Column A": [2, 3, 1, 4, 1, 3, 3, 2, 1, 0],
"Column B": ["Life", None, None, None, "Death", None, "Life", None, None, "Death"]
})
# 定义布尔标记
is_life = pl.col("Column B") == "Life"
is_death = pl.col("Column B") == "Death"
# 构建 group_id:先累加 life/death 事件,再前向填充 → 得到初步分组
group_id = (is_life.cum_sum() + is_death.cum_sum()).forward_fill()
# 关键校正:将 Death 行的 group_id 替换为其前一行的值(即归入前一个 Life 区间)
group_id = pl.when(is_death).then(group_id.shift()).otherwise(group_id)? 说明:group_id.shift() 默认向前移动一行(n=1),因此 "Death" 行获得其前一 "Life" 所启动区间的 ID,确保后续 max().over(group_id) 能正确覆盖整个区间。
✅ 步骤二:按组聚合并条件赋值
使用 pl.when(...).then(...).otherwise(...) 实现:仅当行为 "Life" 时,填入其所属 group_id 内 Column A 的最大值;其余行(null 或 "Death")保持 null:
result = df.with_columns(
pl.when(is_life)
.then(pl.col("Column A").max().over(group_id))
.alias("Column C")
)
print(result)输出结果完全匹配预期:
shape: (10, 3) ┌──────────┬──────────┬──────────┐ │ Column A ┆ Column B ┆ Column C │ │ --- ┆ --- ┆ --- │ │ i64 ┆ str ┆ i64 │ ╞══════════╪══════════╪══════════╡ │ 2 ┆ Life ┆ 4 │ │ 3 ┆ null ┆ null │ │ 1 ┆ null ┆ null │ │ 4 ┆ null ┆ null │ │ 1 ┆ Death ┆ null │ │ 3 ┆ null ┆ null │ │ 3 ┆ Life ┆ 3 │ │ 2 ┆ null ┆ null │ │ 1 ┆ null ┆ null │ │ 0 ┆ Death ┆ null │ └──────────┴──────────┴──────────┘
⚠️ 注意事项与最佳实践
- 空值安全:pl.col("Column B") == "Life" 自动处理 None(返回 False),无需额外 fill_null();
- 类型一致性:max().over(...) 返回与原始列一致的类型(此处为 i64),若需浮点型可显式 .cast(pl.Float64);
- 边界鲁棒性:若末尾无 "Death"(如 "Life" 后无终止标记),该方案会将 "Life" 至数据末尾视为一个开放区间——可根据业务需求添加兜底逻辑(例如 pl.when(is_life).then(...).otherwise(pl.lit(None)));
- 性能提示:所有操作均为惰性求值、零拷贝,适合百万级以上数据;避免在循环中调用 to_pandas() 或 collect() 中断执行链。
此模式可轻松泛化至其他边界标记(如 "START"/"END")、多列聚合(.max().over(...).min().over(...))或自定义窗口函数(如 pl.col("A").rolling_max(window_size=...).over(...)),是 Polars 高级分组场景的经典范式。










