优化Pandas滚动平均：处理序列两端数据

本文旨在解决pandas `rolling().mean()`在处理时间序列两端时产生的`nan`值和数据滞后问题。通过详细阐述`min_periods=1`和`center=true`参数的联合使用，我们将展示如何实现类似matlab `smooth`函数的可变窗口移动平均，从而在不引入`nan`或偏移的情况下，平滑处理整个数据集。

Pandas滚动平均的挑战与默认行为

在数据分析中，移动平均是一种常用的平滑技术，用于消除短期波动并识别长期趋势。Pandas库提供了强大的rolling()方法来实现这一功能。然而，当直接使用df['signal'].rolling(window=N).mean()时，通常会遇到两个主要问题：

1. 边界NaN值： 默认情况下，rolling()方法需要窗口内有足够的数据点才能计算平均值。这意味着在序列的开始和结束部分，由于数据点不足以填充整个指定窗口，结果会产生NaN（Not a Number）值。例如，对于一个窗口大小为9的移动平均，如果center=True，则前4个和后4个位置将是NaN；如果center=False（默认行为，窗口右对齐），则前8个位置将是NaN。
2. 数据滞后或偏移： 如果不设置center=True，rolling()方法默认将计算结果分配给窗口的右边缘（即窗口的最后一个元素）。这会导致输出信号相对于原始输入信号产生一个滞后（例如，对于窗口大小为9，会滞后8个位置），使得平滑后的数据与原始数据的时间对齐性变差。

以下是一个默认Pandas滚动平均的示例，以说明这些问题：

import pandas as pd
import numpy as np

# 创建一个示例Series
data = pd.Series(np.sin(np.linspace(0, 10, 50)) + np.random.randn(50) * 0.1)
window_size = 9

# 默认的滚动平均（窗口右对齐，可能产生NaN和滞后）
default_rolling_mean = data.rolling(window=window_size).mean()

print("原始数据前10个点:\n", data.head(10))
print("\n默认滚动平均前10个点（注意NaN和滞后）:\n", default_rolling_mean.head(10))
print("\n默认滚动平均后10个点:\n", default_rolling_mean.tail(10))

在上述输出中，可以看到default_rolling_mean的前8个值是NaN，并且结果相对于原始数据是右移的（滞后）。

类似MATLAB smooth函数的需求

在某些应用场景中，我们希望移动平均的行为能够更加“智能”地处理序列两端。例如，MATLAB的smooth函数在处理边界时，会动态调整窗口大小：在序列的起始阶段，窗口会从1开始逐渐增长，直到达到指定的最大窗口大小；在序列的结束阶段，窗口则会逐渐缩小。这种方式的优点是：

• 避免NaN值： 即使数据点不足，也能计算出有效的平均值。
• 消除滞后： 通过将计算结果对齐到当前窗口的中心，保持了平滑数据与原始数据的时间同步性。
• 平滑过渡： 边界处的平均值虽然基于较少的数据点，但仍然提供了有意义的平滑结果。

Pandas解决方案：min_periods与center参数

Pandas的rolling()方法提供了min_periods和center这两个参数，可以完美地模拟上述MATLAB smooth函数的行为，从而解决边界NaN和滞后问题。

Rose.ai

一个云数据平台，帮助用户发现、可视化数据

74

查看详情

1. min_periods=1： 此参数指定了计算滚动统计量所需的最小观测值数量。将其设置为1，意味着只要窗口中至少有一个有效数据点，就可以计算平均值。这样，在序列的起始和结束部分，即使无法填充完整的window_size，也能得到一个非NaN的结果。窗口会从1开始，逐渐增大到window_size。
2. center=True： 此参数指示是否将滚动窗口的标签设置为窗口的中心。当设置为True时，计算出的平均值将被放置在当前窗口的中间位置，从而确保平滑后的数据与原始数据在时间上对齐，避免了滞后问题。

结合这两个参数，我们可以实现所需的自适应窗口移动平均：

import pandas as pd
import numpy as np

# 创建一个示例Series
data = pd.Series(np.sin(np.linspace(0, 10, 50)) + np.random.randn(50) * 0.1)
window_size = 9

# 优化后的滚动平均（自适应窗口，中心对齐，无NaN）
optimized_rolling_mean = data.rolling(window=window_size, min_periods=1, center=True).mean()

print("原始数据前10个点:\n", data.head(10))
print("\n优化后滚动平均前10个点（无NaN，中心对齐）:\n", optimized_rolling_mean.head(10))
print("\n优化后滚动平均后10个点:\n", optimized_rolling_mean.tail(10))

# 绘制对比图
import matplotlib.pyplot as plt

plt.figure(figsize=(12, 6))
plt.plot(data, label='原始数据', alpha=0.7)
plt.plot(default_rolling_mean, label='默认滚动平均 (window=9)', linestyle='--')
plt.plot(optimized_rolling_mean, label='优化滚动平均 (window=9, min_periods=1, center=True)', color='red')
plt.title('Pandas滚动平均对比')
plt.xlabel('索引')
plt.ylabel('值')
plt.legend()
plt.grid(True)
plt.show()

从输出和对比图中可以看出，optimized_rolling_mean在序列的起始和结束部分都没有NaN值，并且平滑后的曲线与原始数据保持了良好的时间对齐性。在边界处，虽然计算是基于较少的数据点，但其行为与MATLAB的smooth函数非常相似，提供了一个更完整的平滑结果。

注意事项与总结

• 边界值的特殊性： 尽管min_periods=1解决了NaN问题，但需要理解，在序列两端计算出的平均值是基于小于window_size的数据点。这意味着这些边界处的平均值不如中间部分基于完整窗口的平均值“稳定”或“代表性”。然而，对于许多应用而言，这种平滑的过渡比出现NaN或数据滞后更可取。
• 性能考量： 对于非常大的数据集，rolling()方法通常是高效的，因为它是用C语言实现的。
• 适用性： 这种方法非常适用于需要对整个时间序列进行平滑处理，且不希望因边界效应而丢失数据或引入偏移的场景，例如信号处理、金融数据分析等。

通过巧妙地结合min_periods=1和center=True这两个参数，Pandas的rolling()方法能够提供一个强大且灵活的移动平均解决方案，有效地克服了传统固定窗口移动平均在序列边界处的问题，实现了更平滑、更完整的数据处理体验。

以上就是优化Pandas滚动平均：处理序列两端数据的详细内容，更多请关注php中文网其它相关文章！