使用Pandas重塑DataFrame：将多列数据聚合为列表并进行透视-Python教程-PHP中文网

使用Pandas重塑DataFrame：将多列数据聚合为列表并进行透视

霞舞

发布： 2025-12-12 22:35:02

原创

293人浏览过

使用pandas重塑dataframe：将多列数据聚合为列表并进行透视

本文详细介绍了如何使用Pandas高效地将DataFrame中的多列数据聚合为列表，并进一步通过透视操作将其重塑为更宽的格式。通过结合`assign`、`apply`和`pivot`等函数，我们能够避免繁琐的循环，以声明式和高性能的方式实现复杂的数据转换，从而满足特定的数据分析和合并需求。

在数据处理和分析中，我们经常需要对DataFrame的结构进行调整，以适应不同的分析模型或与其他数据集进行合并。一种常见的场景是将多个相关的数值列聚合到一个列表中，然后将DataFrame从“长”格式重塑为“宽”格式，使得原有的某个分类列成为新的列标题，聚合后的列表作为这些新列的值。

问题描述与目标

假设我们有一个Pandas DataFrame，其中包含ID、名称、多个数值列（如value1、value2、value3）以及一个类型列Type。我们的目标是将value1到value3这几列的数据，针对每个name和Type组合，聚合成一个列表，并将name列的值作为新的列标题，Type列作为行索引或第一列。

原始数据示例：

   id name  value1  value2  value3 Type
0   1  AAA     1.0     1.5     1.8  NEW
1   2  BBB     2.0     2.3     2.5  NEW
2   3  CCC     3.0     3.6     3.7  NEW

登录后复制

期望输出格式：

  Type              AAA              BBB              CCC
0  NEW  [1.0, 1.5, 1.8]  [2.0, 2.3, 2.5]  [3.0, 3.6, 3.7]

登录后复制

核心思路

实现这一转换主要分为两个核心步骤：

聚合特定列为列表： 将DataFrame中一系列相邻的数值列在行级别上合并成一个Python列表。
数据透视重塑： 利用Pandas的透视功能，将聚合后的列表作为值，以Type作为索引，name作为新的列名，从而完成DataFrame的重塑。

这种方法避免了显式的Python循环，充分利用了Pandas的向量化操作，从而提供了更高的效率和更简洁的代码。

实现步骤与代码

我们将通过链式操作来完成整个转换过程。

1. 聚合多列为列表

首先，我们需要选择value1到value3这些列，并将它们在每一行上聚合成一个列表。我们可以使用df.loc进行列选择，然后结合apply(list, axis=1)在行方向上应用list函数。最后，使用assign方法将这个新生成的列表列添加到DataFrame中。

Clips AI

自动将长视频或音频内容转换为社交媒体短片

255

查看详情

import pandas as pd

# 示例DataFrame
data = {
    'id': [1, 2, 3],
    'name': ['AAA', 'BBB', 'CCC'],
    'value1': [1.0, 2.0, 3.0],
    'value2': [1.5, 2.3, 3.6],
    'value3': [1.8, 2.5, 3.7],
    'Type': ['NEW', 'NEW', 'NEW']
}
df = pd.DataFrame(data)

# 步骤1: 聚合多列为列表并添加新列
df_with_list = df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1))
print("DataFrame添加列表列后:\n", df_with_list)

登录后复制

输出示例 (df_with_list)：

   id name  value1  value2  value3 Type            value
0   1  AAA     1.0     1.5     1.8  NEW  [1.0, 1.5, 1.8]
1   2  BBB     2.0     2.3     2.5  NEW  [2.0, 2.3, 2.5]
2   3  CCC     3.0     3.6     3.7  NEW  [3.0, 3.6, 3.7]

登录后复制

2. 数据透视重塑

在获得了包含列表的新列value之后，我们就可以使用pivot函数进行数据重塑。

index='Type'：指定Type列作为新DataFrame的行索引。
columns='name'：指定name列的值作为新DataFrame的列名。
values='value'：指定我们刚刚创建的value列（包含列表）作为新DataFrame的单元格值。

# 步骤2: 数据透视
df_pivoted = df_with_list.pivot(index='Type', columns='name', values='value')
print("\nDataFrame透视后:\n", df_pivoted)

登录后复制

输出示例 (df_pivoted)：

name              AAA              BBB              CCC
Type                                                   
NEW   [1.0, 1.5, 1.8]  [2.0, 2.3, 2.5]  [3.0, 3.6, 3.7]

登录后复制

3. 清理与格式化

透视操作后，name列名会作为列轴的名称（name），而Type列会成为索引。为了使输出更符合期望的格式（Type作为普通列，且列轴没有额外的名称），我们需要进行额外的清理。

rename_axis(None, axis=1)：移除列轴的名称（即name）。
reset_index()：将当前的索引（Type）转换回普通的数据列。

# 步骤3: 清理与格式化
final_df = df_pivoted.rename_axis(None, axis=1).reset_index()
print("\n最终重塑后的DataFrame:\n", final_df)

登录后复制

最终输出示例 (final_df)：

  Type              AAA              BBB              CCC
0  NEW  [1.0, 1.5, 1.8]  [2.0, 2.3, 2.5]  [3.0, 3.6, 3.7]

登录后复制

完整示例代码

将上述步骤整合到一起，形成一个完整的解决方案：

import pandas as pd

# 原始DataFrame
data = {
    'id': [1, 2, 3],
    'name': ['AAA', 'BBB', 'CCC'],
    'value1': [1.0, 2.0, 3.0],
    'value2': [1.5, 2.3, 3.6],
    'value3': [1.8, 2.5, 3.7],
    'Type': ['NEW', 'NEW', 'NEW']
}
df = pd.DataFrame(data)

print("原始DataFrame:\n", df)

# 链式操作实现DataFrame重塑
result_df = (
    df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1))
    .pivot(index='Type', columns='name', values='value')
    .rename_axis(None, axis=1)
    .reset_index()
)

print("\n重塑后的DataFrame:\n", result_df)

登录后复制

注意事项

pivot函数的限制： pivot函数要求index和columns的组合必须是唯一的。如果存在重复的组合，例如在同一个Type下有多个相同的name，则pivot会抛出错误。在这种情况下，应考虑使用pivot_table并指定一个合适的聚合函数（如aggfunc=list，但需要确保聚合逻辑正确）。然而，在本教程的场景中，name在每个Type下是唯一的，因此pivot适用。
列选择： 使用df.loc[:, 'value1':'value3']可以方便地选择连续的列。如果列不连续，可以使用一个列表来指定，例如df[['value1', 'value3', 'value2']]。
性能： apply(list, axis=1)对于行数较多的DataFrame可能不如一些完全向量化的方法快，但对于将多列聚合为单个列表的特定需求，它通常是简洁且性能可接受的解决方案。

总结

通过结合Pandas的assign、apply和pivot等强大功能，我们可以高效且优雅地完成DataFrame的复杂重塑任务。这种方法不仅代码简洁易读，而且能够充分利用Pandas的底层优化，避免了低效的循环操作，是处理类似数据转换需求的推荐实践。掌握这些技巧，将极大地提升您在数据处理方面的效率和灵活性。

以上就是使用Pandas重塑DataFrame：将多列数据聚合为列表并进行透视的详细内容，更多请关注php中文网其它相关文章！

大家都在看：

优化Python循环与条件逻辑：高效处理动态数据的方法使用Python API更新SharePoint文件自定义属性/列的实用指南优化Python数独求解器：解决RecursionError与提升效率在Python中安全高效地将变量应用于PostgreSQL SQL语句 Python使用集成模型提升预测性能的工程技巧全面解析【教学】