0

0

如何显著加速 Pandas 中按组的时间窗口滚动均值计算?

碧海醫心

碧海醫心

发布时间:2026-01-28 11:29:26

|

102人浏览过

|

来源于php中文网

原创

如何显著加速 Pandas 中按组的时间窗口滚动均值计算?

本文介绍一种比 `groupby().apply(rolling())` 快约 15 倍的替代方案:利用 `set_index + groupby().rolling()` 链式操作后合并回原表,大幅提升大规模时序分组滚动计算性能。

在处理高频、多维度的时序数据(如赛马历史战绩)时,常需对“ horse–trainer 组合”等复合键,在时间窗口(如过去 180 天)内计算滚动统计量(如平均得分)。原始写法虽语义清晰,但性能瓶颈明显:

# ❌ 原始低效写法(约 18.5 秒 / 10 万行)
df['HorseRaceCount90d'] = (
    df.groupby(['Horse', 'Trainer'], group_keys=False)
      .apply(lambda x: x.rolling(window='180D', on='RaceDate', min_periods=1)['Points'].mean())
)

该方式对每个分组单独执行 rolling(..., on='RaceDate'),触发大量重复索引对齐与时间窗口判定,且 apply 无法被 Pandas 内部优化器有效向量化。

✅ 更优解:先设时间列为索引,再分组滚动,最后精准回填

幻舟AI
幻舟AI

专为短片创作者打造的AI创作平台

下载
# ✅ 优化写法(约 1.18 秒 / 10 万行,提速 15×)
rolling_result = (
    df.set_index('RaceDate')
       .groupby(['Horse', 'Trainer'])['Points']
       .rolling('180D', min_periods=1)
       .mean()
       .rename('HorseRaceCount90d')
)

df = df.merge(
    rolling_result,
    left_on=['Horse', 'Trainer', 'RaceDate'],
    right_index=True,
    how='left'
)

关键优化原理:

  • set_index('RaceDate') 将时间列转为索引后,rolling('180D') 可直接基于 DatetimeIndex 进行高效滑动(底层使用 libwindow 加速),避免每次 apply 中重复解析时间窗口;
  • groupby([...])['Points'].rolling(...) 是 Pandas 原生支持的“分组+时间滚动”组合操作,全程在 C 层完成,无 Python 循环开销;
  • merge 比 assign 或 map 更鲁棒,尤其当存在重复 (Horse, Trainer, RaceDate) 组合时仍能正确对齐。

注意事项:

  • 确保 RaceDate 列已转换为 datetime64[ns] 类型(可用 pd.to_datetime(df['RaceDate'], errors='coerce') 安全转换);
  • 若原始数据中 RaceDate 存在时区信息,建议统一转为 UTC 或无时区(.dt.tz_localize(None)),避免滚动计算异常;
  • min_periods=1 保证首条记录也有值(即从该点起始的窗口内均值),若需严格满窗才计算,可设为 min_periods=2 或更高;
  • 对于超大数据集(千万级+),可考虑结合 dask.dataframe 或 polars 进一步扩展,但本方法在百万行内已接近 Pandas 性能上限。

总结:
避免在 groupby().apply() 中嵌套 rolling(..., on=...) —— 改用“索引化→分组滚动→合并回表”三步范式,是提升 Pandas 时间窗口分组计算速度最简单、最有效的方式之一。实测性能提升达 15 倍以上,且代码更简洁、可维护性更强。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

56

2025.12.04

golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

75

2025.09.05

golang map相关教程
golang map相关教程

本专题整合了golang map相关教程,阅读专题下面的文章了解更多详细内容。

36

2025.11.16

golang map原理
golang map原理

本专题整合了golang map相关内容,阅读专题下面的文章了解更多详细内容。

60

2025.11.17

java判断map相关教程
java判断map相关教程

本专题整合了java判断map相关教程,阅读专题下面的文章了解更多详细内容。

40

2025.11.27

php中文乱码如何解决
php中文乱码如何解决

本文整理了php中文乱码如何解决及解决方法,阅读节专题下面的文章了解更多详细内容。

1

2026.01.28

Java 消息队列与异步架构实战
Java 消息队列与异步架构实战

本专题系统讲解 Java 在消息队列与异步系统架构中的核心应用,涵盖消息队列基本原理、Kafka 与 RabbitMQ 的使用场景对比、生产者与消费者模型、消息可靠性与顺序性保障、重复消费与幂等处理,以及在高并发系统中的异步解耦设计。通过实战案例,帮助学习者掌握 使用 Java 构建高吞吐、高可靠异步消息系统的完整思路。

1

2026.01.28

Python 自然语言处理(NLP)基础与实战
Python 自然语言处理(NLP)基础与实战

本专题系统讲解 Python 在自然语言处理(NLP)领域的基础方法与实战应用,涵盖文本预处理(分词、去停用词)、词性标注、命名实体识别、关键词提取、情感分析,以及常用 NLP 库(NLTK、spaCy)的核心用法。通过真实文本案例,帮助学习者掌握 使用 Python 进行文本分析与语言数据处理的完整流程,适用于内容分析、舆情监测与智能文本应用场景。

23

2026.01.27

拼多多赚钱的5种方法 拼多多赚钱的5种方法
拼多多赚钱的5种方法 拼多多赚钱的5种方法

在拼多多上赚钱主要可以通过无货源模式一件代发、精细化运营特色店铺、参与官方高流量活动、利用拼团机制社交裂变,以及成为多多进宝推广员这5种方法实现。核心策略在于通过低成本、高效率的供应链管理与营销,利用平台社交电商红利实现盈利。

120

2026.01.26

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.3万人学习

Django 教程
Django 教程

共28课时 | 3.6万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号