Pandas 数据合并：处理多时间步长DataFrame的策略与实践

本教程旨在解决使用 pandas 合并具有不同、不规则时间步长的数据框（dataframe）的常见挑战。我们将重点介绍如何利用 `pd.merge` 函数的 `how='outer'` 参数，有效地整合所有独特时间戳下的数据，并自动处理缺失值，确保输出结果完整且易于分析。

在数据分析和处理中，我们经常会遇到需要整合来自不同源的数据，这些数据可能以不同的频率或时间步长进行记录。例如，传感器数据可能以10分钟间隔采集，而市场数据可能以15分钟间隔更新，日志数据则以30分钟间隔生成。当需要将这些时间序列数据合并到一个统一的视图中时，传统的连接方法可能无法直接满足需求，尤其是在需要保留所有独特时间点并用 NaN 标记缺失数据时。

理解挑战：不规则时间序列的合并

假设我们有三个 Pandas DataFrame，它们各自包含 Timestamp 列和对应的数据列，但时间戳的间隔各不相同：

• df1: 10分钟间隔
• df2: 15分钟间隔
• df3: 30分钟间隔

我们的目标是创建一个新的 DataFrame，它包含所有原始 DataFrame中出现的独特时间戳，并在某个时间戳下某个 DataFrame没有对应数据时，填充 NaN。例如，如果 df1 在 10:10:00 有数据，而 df2 和 df3 没有，那么合并后的结果在 10:10:00 这一行中，df2 和 df3 对应的数据列应显示 NaN。

传统的 pd.concat 函数通常用于按行或按列堆叠 DataFrame，但不处理基于键的合并逻辑。而默认的 pd.merge（内连接）只会保留所有 DataFrame中都存在的共同时间戳，这会导致数据丢失。因此，我们需要一种能够保留所有时间戳的合并策略。

核心解决方案：外连接合并 (Outer Merge)

解决这个问题的最佳方法是使用 pd.merge 函数，并指定 how='outer' 参数。外连接（Outer Join）的目的是合并两个 DataFrame，保留所有在左 DataFrame 或右 DataFrame 中存在的行。如果某个键（在这里是 Timestamp）只存在于其中一个 DataFrame 中，则另一个 DataFrame 的对应列将填充 NaN。这种行为完美符合我们保留所有时间戳并标记缺失数据的需求。

下面是详细的步骤和示例代码：

步骤一：数据准备与类型转换

在进行时间序列数据合并之前，确保所有 DataFrame 的时间戳列都被正确识别为 datetime 对象至关重要。这能保证合并操作能够基于时间顺序正确地进行比较和对齐。

首先，我们创建示例 DataFrame：

import pandas as pd

# 示例数据
data1 = {
    'Timestamp': ['2019/04/02 10:00:00', '2019/04/02 10:10:00', '2019/04/02 10:20:00', '2019/04/02 10:30:00'],
    'data1': [1, 1, 1, 1]
}
df1 = pd.DataFrame(data1)

data2 = {
    'Timestamp': ['2019/04/02 10:00:00', '2019/04/02 10:15:00', '2019/04/02 10:30:00', '2019/04/02 10:45:00', '2019/04/02 11:00:00'],
    'data2': [2, 22, 222, 2222, 22222]
}
df2 = pd.DataFrame(data2)

data3 = {
    'Timestamp': ['2019/04/02 10:00:00', '2019/04/02 10:30:00', '2019/04/02 11:00:00', '2019/04/02 11:30:00'],
    'data3': [3, 33, 333, 3333]
}
df3 = pd.DataFrame(data3)

# 将Timestamp列转换为datetime类型
df1['Timestamp'] = pd.to_datetime(df1['Timestamp'])
df2['Timestamp'] = pd.to_datetime(df2['Timestamp'])
df3['Timestamp'] = pd.to_datetime(df3['Timestamp'])

print("df1:\n", df1)
print("\ndf2:\n", df2)
print("\ndf3:\n", df3)

步骤二：执行外连接合并

我们将使用 pd.merge 函数，通过链式调用，将所有 DataFrame 逐一合并。每次合并都使用 on='Timestamp' 指定合并键，并设置 how='outer' 以确保所有时间戳都被保留。

Replit Ghostwrite

一种基于 ML 的工具，可提供代码完成、生成、转换和编辑器内搜索功能。

93

查看详情

# 第一次合并：df1 和 df2
result = pd.merge(df1, df2, on='Timestamp', how='outer')

# 第二次合并：result (df1和df2的合并结果) 和 df3
result = pd.merge(result, df3, on='Timestamp', how='outer')

步骤三：结果排序

合并操作完成后，为了获得一个按时间顺序排列的清晰视图，我们通常需要对结果 DataFrame 按照 Timestamp 列进行排序。

# 对最终结果按Timestamp排序
result = result.sort_values('Timestamp').reset_index(drop=True)

print("\n合并后的结果:\n", result)

输出结果：

合并后的结果:
             Timestamp  data1    data2  data3
0 2019-04-02 10:00:00    1.0      2.0    3.0
1 2019-04-02 10:10:00    1.0      NaN    NaN
2 2019-04-02 10:15:00    NaN     22.0    NaN
3 2019-04-02 10:20:00    1.0      NaN    NaN
4 2019-04-02 10:30:00    1.0    222.0   33.0
5 2019-04-02 10:45:00    NaN   2222.0    NaN
6 2019-04-02 11:00:00    NaN  22222.0  333.0
7 2019-04-02 11:30:00    NaN      NaN 3333.0

这个结果与我们预期的输出完全一致，成功地整合了所有时间戳，并在数据缺失时填充了 NaN。

替代方案：近似合并 (Merge As Of)

虽然 outer merge 是解决上述特定需求的理想方案，但在某些情况下，我们可能希望根据时间戳的“近似”匹配来合并数据，而不是严格的精确匹配。这时，pd.merge_asof 函数就非常有用。

pd.merge_asof 主要用于合并两个按键（通常是时间戳）排序的 DataFrame，它会为左 DataFrame 的每一行找到右 DataFrame 中最近的匹配行。它有 direction 参数可以控制查找方向（'backward'、'forward' 或 'nearest'）。

示例 merge_asof 用法 (与本教程主要目标不同):

# 假设我们想要将df1的数据与df2中最近的时间戳匹配
# 注意：这与本教程的预期结果（保留NaN）不同
# 首先确保所有DataFrame都已按Timestamp排序
df1_sorted = df1.sort_values('Timestamp')
df2_sorted = df2.sort_values('Timestamp')
df3_sorted = df3.sort_values('Timestamp')

# 使用merge_asof，direction='nearest'表示找到最近的时间戳
# 这会填充NaN，而不是保留它们
result_asof = pd.merge_asof(df1_sorted, df2_sorted, on='Timestamp', direction='nearest')
result_asof = pd.merge_asof(result_asof, df3_sorted, on='Timestamp', direction='nearest')

print("\n使用 merge_asof (nearest) 的结果 (注意与outer merge的区别):\n", result_asof)

merge_asof 的结果会用最近的值填充，而不是像 outer merge 那样在没有精确匹配时保留 NaN。因此，在需要保留所有独特时间戳并明确标记缺失数据时，outer merge 是更合适的选择。

注意事项与最佳实践

1. 时间戳数据类型: 始终确保用于合并的时间戳列是 datetime 类型。如果它们是字符串，pd.merge 仍能工作，但可能导致性能下降或意外行为（例如，字符串比较可能不是按时间顺序）。pd.to_datetime() 是转换的最佳工具。
2. 索引的重要性: 如果 Timestamp 列被设置为 DataFrame 的索引，可以使用 df1.join(df2, how='outer') 或 pd.merge(df1, df2, left_index=True, right_index=True, how='outer') 进行合并。索引上的合并通常更高效。
3. 多列合并: 如果需要基于多个列进行合并，可以将 on 参数设置为一个列表，例如 on=['Timestamp', 'ID']。
4. 性能考虑: 对于非常大的数据集，合并操作可能会消耗大量内存和计算资源。考虑对数据进行预处理、分块处理或使用 Dask 等并行计算库。
5. 缺失值处理: 合并完成后，结果 DataFrame 中可能会有大量的 NaN 值。根据后续分析的需求，可以进一步处理这些缺失值，例如：
   • df.fillna(method='ffill'): 使用前一个有效值填充。
   • df.fillna(method='bfill'): 使用后一个有效值填充。
   • df.fillna(value=0): 用特定值（如0）填充。
   • df.dropna(): 删除含有 NaN 的行或列。

总结

处理具有不同时间步长的数据框合并是时间序列分析中的常见任务。通过本教程，我们深入探讨了如何利用 Pandas 的 pd.merge 函数，结合 how='outer' 参数，有效地将多个不规则时间序列数据整合到一个统一的 DataFrame 中。这种方法不仅能够保留所有独特的历史时间戳，还能清晰地标记出数据在特定时间点上的缺失情况，为后续的数据分析和建模提供了坚实的基础。理解 outer merge 与 merge_asof 之间的区别，并根据具体需求选择合适的合并策略，是掌握 Pandas 数据处理的关键技能。

以上就是Pandas 数据合并：处理多时间步长DataFrame的策略与实践的详细内容，更多请关注php中文网其它相关文章！