本教程详细介绍了如何在Pandas DataFrame中高效地按分组均值填充缺失值。通过结合`groupby()`和`transform('mean')`方法，可以为每个缺失值动态计算其所属分组的均值，并使用`fillna()`进行精确填充，从而避免常见错误，确保数据完整性和准确性。
在数据分析和预处理过程中，处理缺失值（NaN）是一项常见且重要的任务。当需要根据数据中某个分类列的分组统计量（如均值）来填充另一个数值列的缺失值时，Pandas提供了强大而灵活的工具。本文将深入探讨如何使用groupby()与transform()结合fillna()方法，有效地完成这一任务。
理解按分组填充缺失值的需求
假设我们有一个DataFrame，其中包含一个分类列（例如InternetService）和一个数值列（例如Bandwidth_GB_Year），并且Bandwidth_GB_Year列中存在缺失值。我们的目标是根据每个InternetService类型计算其Bandwidth_GB_Year的均值，然后用这个均值来填充该类型下所有对应的缺失值。
直接使用df["col"].fillna(df.groupby("group_col")["col"].mean())往往无法达到预期效果，甚至可能导致数据丢失。这是因为df.groupby("group_col")["col"].mean()返回的是一个Series，其索引是group_col的唯一值，而非原始DataFrame的索引。fillna()方法在接收Series作为参数时，会尝试根据索引进行对齐，如果索引不匹配，则可能无法正确填充或填充为NaN。此外，在赋值操作中同时使用inplace=True参数也是一个常见的陷阱，因为inplace=True会原地修改DataFrame并返回None，导致列被赋为None。
解决方案：groupby().transform('mean')
解决这一问题的关键在于使用transform()方法。transform()与apply()类似，都是对分组数据执行操作，但transform()的独特之处在于它会将结果“广播”回原始DataFrame的形状，即返回一个与原始DataFrame（或Series）索引对齐的Series。这使得它非常适合与fillna()结合使用。
当与mean()一起使用时，df.groupby('group_col')['value_col'].transform('mean')会为原始DataFrame中的每一行计算其所属group_col的value_col均值，并返回一个与value_col长度和索引完全一致的Series。
示例代码
让我们通过一个具体的例子来演示如何实现按分组均值填充。
import pandas as pd
import numpy as np
# 模拟一个包含缺失值的DataFrame
data = {
'InternetService': ['DSL', 'Fiber Optic', 'DSL', 'None', 'Fiber Optic', 'DSL', 'None', 'Fiber Optic', 'DSL', 'None'],
'Bandwidth_GB_Year': [3500, 3100, np.nan, 3200, np.nan, 3900, 3300, 3000, np.nan, 3150]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)
print("-" * 30)
# 1. 计算每个InternetService类型的Bandwidth_GB_Year均值
# 注意：这里只是为了展示transform的工作原理，实际填充时无需单独存储
group_means_transformed = df.groupby('InternetService')['Bandwidth_GB_Year'].transform('mean')
print("\ntransform('mean')后的Series (与原始DataFrame索引对齐):")
print(group_means_transformed)
print("-" * 30)
# 2. 使用transform('mean')的结果来填充缺失值
# fillna会根据索引匹配，将缺失值替换为对应分组的均值
df['Bandwidth_GB_Year'] = df['Bandwidth_GB_Year'].fillna(group_means_transformed)
print("\n填充缺失值后的DataFrame:")
print(df)代码解析：
- 创建DataFrame: 我们首先创建一个包含InternetService和Bandwidth_GB_Year列的DataFrame，并在Bandwidth_GB_Year中引入np.nan表示缺失值。
-
groupby().transform('mean'):
- df.groupby('InternetService')：根据InternetService列对DataFrame进行分组。
- ['Bandwidth_GB_Year']：选择Bandwidth_GB_Year列进行操作。
- .transform('mean')：对每个分组的Bandwidth_GB_Year计算均值，并将结果扩展回原始DataFrame的形状。这意味着，如果“DSL”组的均值是X，那么原始DataFrame中所有InternetService为“DSL”的行，在group_means_transformed中对应位置的值都将是X。
-
fillna():
- df['Bandwidth_GB_Year'].fillna(group_means_transformed)：将Bandwidth_GB_Year列中的所有NaN值，替换为group_means_transformed中对应索引位置的值。由于group_means_transformed已经与原始列完美对齐，因此填充会非常准确。
- df['Bandwidth_GB_Year'] = ...：将填充后的Series重新赋值回原列，完成数据更新。
运行结果示例：
原始DataFrame:
InternetService Bandwidth_GB_Year
0 DSL 3500.0
1 Fiber Optic 3100.0
2 DSL NaN
3 None 3200.0
4 Fiber Optic NaN
5 DSL 3900.0
6 None 3300.0
7 Fiber Optic 3000.0
8 DSL NaN
9 None 3150.0
------------------------------
transform('mean')后的Series (与原始DataFrame索引对齐):
0 3700.0
1 3050.0
2 3700.0
3 3216.666667
4 3050.0
5 3700.0
6 3216.666667
7 3050.0
8 3700.0
9 3216.666667
Name: Bandwidth_GB_Year, dtype: float64
------------------------------
填充缺失值后的DataFrame:
InternetService Bandwidth_GB_Year
0 DSL 3500.000000
1 Fiber Optic 3100.000000
2 DSL 3700.000000
3 None 3200.000000
4 Fiber Optic 3050.000000
5 DSL 3900.000000
6 None 3300.000000
7 Fiber Optic 3000.000000
8 DSL 3700.000000
9 None 3150.000000可以看到，原始DataFrame中索引为2、4、8的缺失值被成功地填充了其对应InternetService分组的均值。例如，DSL的均值为(3500+3900)/2 = 3700，Fiber Optic的均值为(3100+3000)/2 = 3050，None的均值为(3200+3300+3150)/3 = 3216.666667。
注意事项与最佳实践
-
避免inplace=True与赋值同时使用： 如原问题所示，df["col"] = df["col"].fillna(mean_values, inplace = True)是一个常见的错误。当inplace=True时，fillna()方法会原地修改df["col"]并返回None。将None赋值回列会导致该列所有值变为None。正确的做法是：
- 不使用inplace=True并重新赋值：df['col'] = df['col'].fillna(values_to_fill) (推荐)
- 直接使用inplace=True但不进行赋值：df['col'].fillna(values_to_fill, inplace=True) (适用于不希望创建新Series的情况)
数据类型： 当填充数值列时，如果原始列是整数类型且包含NaN，Pandas会自动将其转换为浮点数类型（因为NaN是浮点数）。填充后，列的数据类型通常会保持为浮点数。如果需要整数类型，需要进行显式转换，但请注意，包含NaN的整数列无法直接表示。
-
其他聚合函数：transform()不仅可以与mean()结合，还可以与median()、min()、max()、sum()等其他聚合函数结合使用，以满足不同的填充策略。例如，按组中位数填充：
df['Bandwidth_GB_Year'] = df['Bandwidth_GB_Year'].fillna(df.groupby('InternetService')['Bandwidth_GB_Year'].transform('median')) 处理空组或全NaN组： 如果某个分组的所有值都是NaN，那么transform('mean')将返回NaN。这意味着，如果一个分组本身没有有效数据来计算均值，那么该分组内的缺失值仍然会保持为NaN。在实际应用中，可能需要进一步处理这些情况，例如用全局均值或特定默认值填充。
总结
通过结合使用Pandas的groupby()和transform('mean')方法，我们可以优雅且高效地实现按分组均值填充DataFrame中的缺失值。这种方法确保了填充值的准确性，并且生成的Series与原始DataFrame的索引完美对齐，从而避免了常见的对齐问题和inplace参数误用导致的错误。掌握这一技巧是进行数据清洗和预处理的关键一步。
