在pandas中实现多级分组聚合的核心方法是使用groupby()并传入多个列名列表，随后调用聚合函数。1. 创建或加载包含多个分类列和数值列的数据；2. 使用groupby(['列名1', '列名2'])指定多级分组键；3. 通过sum()、mean()等函数进行统一聚合，或使用agg()方法实现更灵活的聚合逻辑，如对不同列应用不同函数或自定义函数；4. 聚合结果可通过reset_index()扁平化索引、unstack()进行数据透视，或使用loc进行层次化数据选择，以便后续分析。
Pandas中实现数据的多级分组聚合，核心在于
groupby()方法。你只需将需要作为分组依据的多个列名以列表的形式传递给它，然后链式调用各种聚合函数，如
sum()、
mean()、
count()，或者使用更灵活的
agg()方法来应用多种聚合操作。这种方式能让你从不同维度、不同层级深入挖掘数据，发现单层分组难以察觉的模式和洞察。
解决方案
多级分组聚合的核心步骤包括：
- 创建或加载数据： 准备一个包含需要分析的多个分类列和数值列的DataFrame。
-
指定多级分组键： 将作为分组依据的列名放入一个Python列表中，传递给
df.groupby()
。 -
选择聚合列并应用聚合函数： 在
groupby
对象上直接调用聚合函数（如.sum()
、.mean()
），或者使用.agg()
方法进行更复杂的聚合操作。
这里是一个具体的例子：
假设我们有一个销售数据，包含区域（Region）、产品类别（Product_Category）、销售额（Sales）和数量（Quantity）。我们想按区域和产品类别来统计总销售额和平均销售数量。
import pandas as pd
import numpy as np
# 模拟数据
data = {
'Region': ['North', 'South', 'North', 'East', 'South', 'North', 'East', 'West', 'North', 'South'],
'Product_Category': ['Electronics', 'Clothing', 'Electronics', 'Books', 'Electronics', 'Books', 'Clothing', 'Electronics', 'Books', 'Clothing'],
'Sales': [1200, 800, 1500, 300, 900, 450, 600, 1000, 700, 550],
'Quantity': [5, 3, 7, 2, 4, 3, 2, 5, 4, 3]
}
df = pd.DataFrame(data)
# 多级分组并聚合
# 方法一：直接调用聚合函数（适用于所有数值列应用相同聚合）
# grouped_df_simple = df.groupby(['Region', 'Product_Category']).sum()
# print("简单聚合结果:\n", grouped_df_simple)
# 方法二：使用agg()进行更灵活的聚合
# 针对特定列应用不同函数，并可以重命名结果列
grouped_df_complex = df.groupby(['Region', 'Product_Category']).agg(
total_sales=('Sales', 'sum'), # 计算销售额总和，并命名为total_sales
average_quantity=('Quantity', 'mean'), # 计算数量平均值，并命名为average_quantity
num_transactions=('Sales', 'count') # 计算每个组的交易次数
)
print("复杂聚合结果:\n", grouped_df_complex)
# 如果想对所有数值列应用多个聚合函数
# grouped_all_multi_agg = df.groupby(['Region', 'Product_Category']).agg(['sum', 'mean', 'count'])
# print("\n所有数值列多函数聚合结果:\n", grouped_all_multi_agg)这段代码首先创建了一个示例DataFrame。然后，通过
df.groupby(['Region', 'Product_Category'])指定了“区域”和“产品类别”作为两级分组的依据。接着，
agg()方法被用来定义具体的聚合操作：计算每个组的总销售额（
total_sales）、平均销售数量（
average_quantity）以及交易次数（
num_transactions）。这种方式不仅灵活，还能清晰地为聚合后的列命名。
为什么常规的单层分组聚合无法满足复杂分析需求？
我个人在数据探索时，就经常发现，单一维度的聚合往往只是冰山一角，真正有价值的洞察，往往藏在多维度的交叉审视里。试想一下，如果我只按“区域”来统计总销售额，我能知道哪个区域卖得最好，但却无法得知在这个区域里，具体是哪类产品贡献了大部分销售，或者哪些产品表现不佳。这种信息缺失，就导致了决策上的盲区。
单层分组就像你只看一张地图的某个局部，而多级分组则提供了不同缩放级别的视角。比如，你可能发现“北方”区域的总销售额很高，这听起来不错。但如果进一步按“产品类别”分组，你可能会惊奇地发现，北方区域的销售额主要是由“电子产品”贡献的，而“图书”类别在这个区域的销售却非常惨淡。这种细致入微的发现，是单层聚合无法提供的。它揭示了数据背后的层次结构和更深层次的业务问题，比如北方区域的图书销售策略可能需要调整，或者电子产品有更大的市场潜力。这种层次化的信息，是构建复杂业务模型、进行精准营销或优化供应链的关键。
如何在多级分组中应用不同的聚合函数或自定义聚合逻辑？
这就像你在厨房里做菜，不是所有食材都只用一种烹饪方法，有些需要蒸，有些需要炒，聚合也是如此，得按需定制。Pandas的
agg()方法在这方面提供了极大的灵活性。你可以针对不同的列应用不同的聚合函数，甚至对同一列应用多个函数，或者定义你自己的聚合逻辑。
-
为不同列应用不同聚合函数： 这是最常见的需求。比如，我们想看每个区域-产品组合的总销售额和平均数量。
# 继续使用之前的df agg_result = df.groupby(['Region', 'Product_Category']).agg( total_sales=('Sales', 'sum'), avg_quantity=('Quantity', 'mean') ) print("\n不同列应用不同函数:\n", agg_result) -
对同一列应用多个聚合函数： 有时候，我们想从多个角度审视一个指标。例如，除了总销售额，我们还想知道每个分组的销售额最大值和最小值。
multi_func_on_one_col = df.groupby(['Region', 'Product_Category']).agg( sales_sum=('Sales', 'sum'), sales_max=('Sales', 'max'), sales_min=('Sales', 'min') ) print("\n同一列应用多个函数:\n", multi_func_on_one_col)或者更简洁地，直接传递函数列表：
multi_func_list = df.groupby(['Region', 'Product_Category'])['Sales'].agg(['sum', 'mean', 'max']) print("\n对单列直接应用函数列表:\n", multi_func_list) -
使用自定义聚合函数： 如果Pandas内置的聚合函数无法满足你的需求，你可以定义自己的Python函数，并将其传递给
agg()
。这个函数会接收一个Series作为输入（即每个分组的某列数据），并返回一个单一值。# 定义一个自定义函数，例如计算销售额的标准差与平均值的比率 def sales_variation_ratio(series): if series.mean() == 0: return 0 return series.std() / series.mean() custom_agg_result = df.groupby(['Region', 'Product_Category']).agg( total_sales=('Sales', 'sum'), sales_ratio=('Sales', sales_variation_ratio) # 使用自定义函数 ) print("\n使用自定义聚合函数:\n", custom_agg_result)这种灵活性使得
agg()
成为处理复杂聚合任务的利器，它远不止是简单的求和或求平均。
多级分组聚合后如何进行数据透视或进一步的层次化分析？
处理完多级聚合的结果，我常会发现，原始的MultiIndex虽然强大，但视觉上并不总是那么直观。这时候，透视一下或者干脆扁平化，往往能让数据“说话”更清晰。聚合后的DataFrame通常会带有一个MultiIndex（多级索引），这在进行后续的层次化分析时非常有用。
-
扁平化索引：
reset_index()
这是最常用的操作之一。它将MultiIndex转换为普通的列，使DataFrame回到一个更“平坦”的结构，方便导出到CSV或进行其他非层次化的操作。# 假设我们有之前的grouped_df_complex # grouped_df_complex = df.groupby(['Region', 'Product_Category']).agg( # total_sales=('Sales', 'sum'), # average_quantity=('Quantity', 'mean'), # num_transactions=('Sales', 'count') # ) flattened_df = grouped_df_complex.reset_index() print("\n扁平化后的DataFrame:\n", flattened_df)这会把
Region
和Product_Category
从索引变成普通的数据列。 -
数据透视：
unstack()
当你的MultiIndex结果需要进行交叉表式的展示时，unstack()
就显得非常有用。它能将MultiIndex的一个或多个级别“旋转”成列。# 将Product_Category从索引级别旋转到列 pivoted_df = grouped_df_complex.unstack(level='Product_Category') print("\n透视后的DataFrame (unstack):\n", pivoted_df) # unstack后，列名会变成MultiIndex，可以进一步扁平化 # pivoted_df.columns = ['_'.join(col).strip() for col in pivoted_df.columns.values] # print("\n透视并扁平化列名:\n", pivoted_df)unstack()
操作会将Product_Category
的每个唯一值变成新的列名，非常适合制作汇总表格。注意，unstack()
后，列名本身也可能变成MultiIndex，这需要根据后续分析需求进行处理（例如，使用列表推导式来扁平化列名）。 -
层次化选择数据：
loc
与切片 即使不扁平化或透视，MultiIndex也允许你进行非常精细的层次化数据选择。# 选择某个特定区域的所有产品类别数据 north_data = grouped_df_complex.loc['North'] print("\n选择'North'区域的数据:\n", north_data) # 选择某个特定区域的特定产品类别数据 north_electronics_data = grouped_df_complex.loc[('North', 'Electronics')] print("\n选择'North'区域'Electronics'类别的数据:\n", north_electronics_data) # 使用切片选择多个区域或产品类别（需要排序索引） # grouped_df_complex_sorted = grouped_df_complex.sort_index() # print("\n排序后的数据（切片需要）:\n", grouped_df_complex_sorted) # slice_data = grouped_df_complex_sorted.loc[('North':'South', 'Books':'Electronics'), :] # print("\n切片选择数据:\n", slice_data)通过这些操作，你可以在保持数据层次结构的同时，灵活地展现和分析多级分组聚合的结果，为后续的数据可视化或更深层的统计建模打下基础。
