本文将详细介绍如何使用 Pandas 库对 DataFrame 进行透视操作，并利用另一个 DataFrame 的数据来填充透视表中的缺失值。如摘要所述，我们将使用 pivot 函数进行数据透视，然后结合 fillna 和 map 函数来完成缺失值的填充。
数据准备
首先，我们需要准备两个 DataFrame，分别为 table1 和 table2。table1 包含 id、time 和 status 列，table2 包含 id 和 time 列。我们的目标是将 table1 透视为包含 id、conn 和 disconn 列的 DataFrame，如果某个 id 的 disconn 值在 table1 中缺失，则从 table2 中获取。
import pandas as pd
# 创建 table1
data1 = {'id': [1, 1, 2, 2, 3],
'time': ['10:00', '10:01', '10:02', '10:03', '10:04'],
'status': ['conn', 'disconn', 'conn', 'disconn', 'conn']}
table1 = pd.DataFrame(data1)
# 创建 table2
data2 = {'id': [3],
'time': ['10:05']}
table2 = pd.DataFrame(data2)
print("Table1:\n", table1)
print("\nTable2:\n", table2)数据透视和缺失值填充
接下来，我们使用 pivot 函数将 table1 透视为所需的格式。然后，使用 fillna 和 map 函数从 table2 中填充缺失的 disconn 值。
# 使用 pivot 函数透视 table1
out = (table1.pivot(index='id', columns='status', values='time')
.reset_index().rename_axis(columns=None)
)
# 使用 fillna 和 map 函数填充缺失的 disconn 值
out['disconn'] = out['disconn'].fillna(out['id'].map(table2.set_index('id')['time']))
print("\nResult:\n", out)这段代码首先使用 pivot 函数将 table1 按照 id 作为索引，status 作为列，time 作为值进行透视。然后，使用 reset_index() 重置索引，并使用 rename_axis(columns=None) 移除列名的轴标签。
接着，使用 fillna 函数填充 disconn 列中的缺失值。fillna 函数的参数是一个 Series，该 Series 的索引是 id，值是从 table2 中获取的 time 值。map 函数用于将 table2 中的 time 值映射到 out DataFrame 中对应的 id。
另一种填充缺失值的方法
除了使用 fillna 和 map 函数，还可以使用以下方法填充缺失值：
# 创建一个布尔掩码，指示 disconn 列中的缺失值
m = out['disconn'].isna()
# 使用 loc 和 map 函数填充缺失的 disconn 值
out.loc[m, 'disconn'] = out.loc[m, 'id'].map(table2.set_index('id')['time'])
print("\nResult (Alternative Method):\n", out)这种方法首先创建一个布尔掩码 m，用于指示 disconn 列中的缺失值。然后，使用 loc 函数和 map 函数，将 table2 中对应的 time 值填充到 out DataFrame 中 disconn 列的缺失值位置。
处理重复的 id/status
如果 table1 中存在重复的 id 和 status 组合，则需要先对数据进行处理，然后再进行透视。例如，可以使用 groupby 和 cumcount 函数为每个重复的组合添加一个计数器，然后再进行透视。
# 创建具有重复 id/status 的 table1
data1_duplicated = {'id': [1, 1, 1, 2, 2, 3],
'time': ['10:00', '10:01', '10:02', '10:03', '10:04', '10:05'],
'status': ['conn', 'disconn', 'conn', 'conn', 'disconn', 'conn']}
table1_duplicated = pd.DataFrame(data1_duplicated)
# 使用 groupby 和 cumcount 函数添加计数器
out_duplicated = (table1_duplicated.assign(n=lambda d: d.groupby(['id', 'status']).cumcount())
.pivot(index=['id', 'n'], columns='status', values='time')
.reset_index().rename_axis(columns=None)
)
print("\nResult (Duplicated Data):\n", out_duplicated)这段代码首先使用 assign 函数添加一个名为 n 的新列，该列的值是每个 id 和 status 组合的计数器。groupby 函数用于将数据按照 id 和 status 进行分组，cumcount 函数用于计算每个组中的计数器。然后，使用 pivot 函数将数据透视，并将 id 和 n 作为索引。
总结
本文详细介绍了如何使用 Pandas 的 pivot 函数进行数据透视，并结合 fillna 和 map 函数从另一个 DataFrame 中填充缺失值。同时，还介绍了处理具有重复索引和状态的情况。掌握这些技巧可以帮助您更有效地处理和分析数据。在实际应用中，请根据数据的具体情况选择合适的方法。
