本文详细介绍了如何使用Pandas高效地将DataFrame中的多列数据聚合为列表，并进一步通过透视操作将其重塑为更宽的格式。通过结合`assign`、`apply`和`pivot`等函数，我们能够避免繁琐的循环，以声明式和高性能的方式实现复杂的数据转换，从而满足特定的数据分析和合并需求。
在数据处理和分析中，我们经常需要对DataFrame的结构进行调整，以适应不同的分析模型或与其他数据集进行合并。一种常见的场景是将多个相关的数值列聚合到一个列表中，然后将DataFrame从“长”格式重塑为“宽”格式，使得原有的某个分类列成为新的列标题，聚合后的列表作为这些新列的值。
问题描述与目标
假设我们有一个Pandas DataFrame，其中包含ID、名称、多个数值列（如value1、value2、value3）以及一个类型列Type。我们的目标是将value1到value3这几列的数据，针对每个name和Type组合，聚合成一个列表，并将name列的值作为新的列标题，Type列作为行索引或第一列。
原始数据示例：
id name value1 value2 value3 Type 0 1 AAA 1.0 1.5 1.8 NEW 1 2 BBB 2.0 2.3 2.5 NEW 2 3 CCC 3.0 3.6 3.7 NEW
期望输出格式：
Type AAA BBB CCC 0 NEW [1.0, 1.5, 1.8] [2.0, 2.3, 2.5] [3.0, 3.6, 3.7]
核心思路
实现这一转换主要分为两个核心步骤：
- 聚合特定列为列表： 将DataFrame中一系列相邻的数值列在行级别上合并成一个Python列表。
- 数据透视重塑： 利用Pandas的透视功能，将聚合后的列表作为值，以Type作为索引，name作为新的列名，从而完成DataFrame的重塑。
这种方法避免了显式的Python循环，充分利用了Pandas的向量化操作，从而提供了更高的效率和更简洁的代码。
实现步骤与代码
我们将通过链式操作来完成整个转换过程。
1. 聚合多列为列表
首先，我们需要选择value1到value3这些列，并将它们在每一行上聚合成一个列表。我们可以使用df.loc进行列选择，然后结合apply(list, axis=1)在行方向上应用list函数。最后，使用assign方法将这个新生成的列表列添加到DataFrame中。
import pandas as pd
# 示例DataFrame
data = {
'id': [1, 2, 3],
'name': ['AAA', 'BBB', 'CCC'],
'value1': [1.0, 2.0, 3.0],
'value2': [1.5, 2.3, 3.6],
'value3': [1.8, 2.5, 3.7],
'Type': ['NEW', 'NEW', 'NEW']
}
df = pd.DataFrame(data)
# 步骤1: 聚合多列为列表并添加新列
df_with_list = df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1))
print("DataFrame添加列表列后:\n", df_with_list)输出示例 (df_with_list)：
id name value1 value2 value3 Type value 0 1 AAA 1.0 1.5 1.8 NEW [1.0, 1.5, 1.8] 1 2 BBB 2.0 2.3 2.5 NEW [2.0, 2.3, 2.5] 2 3 CCC 3.0 3.6 3.7 NEW [3.0, 3.6, 3.7]
2. 数据透视重塑
在获得了包含列表的新列value之后，我们就可以使用pivot函数进行数据重塑。
- index='Type'：指定Type列作为新DataFrame的行索引。
- columns='name'：指定name列的值作为新DataFrame的列名。
- values='value'：指定我们刚刚创建的value列（包含列表）作为新DataFrame的单元格值。
# 步骤2: 数据透视
df_pivoted = df_with_list.pivot(index='Type', columns='name', values='value')
print("\nDataFrame透视后:\n", df_pivoted)输出示例 (df_pivoted)：
name AAA BBB CCC Type NEW [1.0, 1.5, 1.8] [2.0, 2.3, 2.5] [3.0, 3.6, 3.7]
3. 清理与格式化
透视操作后，name列名会作为列轴的名称（name），而Type列会成为索引。为了使输出更符合期望的格式（Type作为普通列，且列轴没有额外的名称），我们需要进行额外的清理。
- rename_axis(None, axis=1)：移除列轴的名称（即name）。
- reset_index()：将当前的索引（Type）转换回普通的数据列。
# 步骤3: 清理与格式化
final_df = df_pivoted.rename_axis(None, axis=1).reset_index()
print("\n最终重塑后的DataFrame:\n", final_df)最终输出示例 (final_df)：
Type AAA BBB CCC 0 NEW [1.0, 1.5, 1.8] [2.0, 2.3, 2.5] [3.0, 3.6, 3.7]
完整示例代码
将上述步骤整合到一起，形成一个完整的解决方案：
import pandas as pd
# 原始DataFrame
data = {
'id': [1, 2, 3],
'name': ['AAA', 'BBB', 'CCC'],
'value1': [1.0, 2.0, 3.0],
'value2': [1.5, 2.3, 3.6],
'value3': [1.8, 2.5, 3.7],
'Type': ['NEW', 'NEW', 'NEW']
}
df = pd.DataFrame(data)
print("原始DataFrame:\n", df)
# 链式操作实现DataFrame重塑
result_df = (
df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1))
.pivot(index='Type', columns='name', values='value')
.rename_axis(None, axis=1)
.reset_index()
)
print("\n重塑后的DataFrame:\n", result_df)注意事项
- pivot函数的限制： pivot函数要求index和columns的组合必须是唯一的。如果存在重复的组合，例如在同一个Type下有多个相同的name，则pivot会抛出错误。在这种情况下，应考虑使用pivot_table并指定一个合适的聚合函数（如aggfunc=list，但需要确保聚合逻辑正确）。然而，在本教程的场景中，name在每个Type下是唯一的，因此pivot适用。
- 列选择： 使用df.loc[:, 'value1':'value3']可以方便地选择连续的列。如果列不连续，可以使用一个列表来指定，例如df[['value1', 'value3', 'value2']]。
- 性能： apply(list, axis=1)对于行数较多的DataFrame可能不如一些完全向量化的方法快，但对于将多列聚合为单个列表的特定需求，它通常是简洁且性能可接受的解决方案。
总结
通过结合Pandas的assign、apply和pivot等强大功能，我们可以高效且优雅地完成DataFrame的复杂重塑任务。这种方法不仅代码简洁易读，而且能够充分利用Pandas的底层优化，避免了低效的循环操作，是处理类似数据转换需求的推荐实践。掌握这些技巧，将极大地提升您在数据处理方面的效率和灵活性。
