Pandas DataFrame 高效重塑：将多列聚合为列表并进行透视操作-Python教程-PHP中文网

Pandas DataFrame 高效重塑：将多列聚合为列表并进行透视操作

碧海醫心

发布： 2025-12-03 12:36:33

原创

548人浏览过

Pandas DataFrame 高效重塑：将多列聚合为列表并进行透视操作

本教程详细阐述了如何利用pandas库高效地将dataframe中的多列数据聚合成列表，并将其重塑为以特定列值为新列名的宽格式。文章通过链式操作，巧妙结合`assign`创建列表列，随后运用`pivot`函数实现数据透视，最终通过`rename_axis`和`reset_index`优化输出结构，从而避免了繁琐的循环，显著提升数据处理效率和代码可读性。

1. 引言

在数据分析和处理中，我们经常需要对DataFrame的结构进行重塑，以适应不同的分析需求或与其他数据集进行合并。一个常见的场景是，将多列数值数据聚合到一个列表中，然后将DataFrame从“长格式”转换为“宽格式”，即以某一列的唯一值为新的列名。本教程将介绍一种使用Pandas库实现这一复杂重塑任务的优雅且高效的方法。

2. 准备示例数据

首先，我们创建一个示例Pandas DataFrame，它包含id、name、value1、value2、value3和Type等列。我们的目标是将value1、value2、value3这三列的数据聚合为列表，并以name列的唯一值作为新的列名，Type作为新的索引。

import pandas as pd

# 创建示例DataFrame
data = {
    'id': [1, 2, 3],
    'name': ['AAA', 'BBB', 'CCC'],
    'value1': [1.0, 2.0, 3.0],
    'value2': [1.5, 2.3, 3.6],
    'value3': [1.8, 2.5, 3.7],
    'Type': ['NEW', 'NEW', 'NEW']
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

登录后复制

原始DataFrame的结构如下：

   id name  value1  value2  value3 Type
0   1  AAA     1.0     1.5     1.8  NEW
1   2  BBB     2.0     2.3     2.5  NEW
2   3  CCC     3.0     3.6     3.7  NEW

登录后复制

我们期望的输出结构是：

  Type              AAA              BBB              CCC
0  NEW  [1.0, 1.5, 1.8]  [2.0, 2.3, 2.5]  [3.0, 3.6, 3.7]

登录后复制

3. 核心重塑方法

我们将通过一系列链式操作来实现上述转换：

3.1 聚合多列为列表

首先，我们需要将value1、value2、value3这三列的数据在每一行中聚合成一个列表。Pandas的assign()方法允许我们在DataFrame中创建新列，而apply()方法结合axis=1可以对每行进行操作。

# 步骤1: 聚合'value1'到'value3'列为新的'value'列表列
df_with_list = df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1))
print("\n添加列表列后的DataFrame:")
print(df_with_list)

登录后复制

这一步将生成一个中间DataFrame，其中包含一个名为value的新列，其每个元素都是一个列表：

   id name  value1  value2  value3 Type            value
0   1  AAA     1.0     1.5     1.8  NEW  [1.0, 1.5, 1.8]
1   2  BBB     2.0     2.3     2.5  NEW  [2.0, 2.3, 2.5]
2   3  CCC     3.0     3.6     3.7  NEW  [3.0, 3.6, 3.7]

登录后复制

3.2 使用 pivot 进行数据透视

接下来，我们使用pivot()函数将DataFrame重塑为所需的宽格式。pivot()函数需要三个关键参数：

index: 用于作为新DataFrame索引的列。
columns: 用于作为新DataFrame列名的列。
values: 用于填充新DataFrame单元格的值的列。

在本例中，Type将作为索引，name将作为新的列名，而我们刚刚创建的value列将作为填充单元格的值。

北极象沉浸式AI翻译

免费的北极象沉浸式AI翻译 - 带您走进沉浸式AI的双语对照体验

查看详情

# 步骤2: 使用pivot进行数据透视
pivoted_df = df_with_list.pivot(index='Type', columns='name', values='value')
print("\n透视后的DataFrame (待优化):")
print(pivoted_df)

登录后复制

透视后的DataFrame初步结构：

name              AAA              BBB              CCC
Type                                                   
NEW   [1.0, 1.5, 1.8]  [2.0, 2.3, 2.5]  [3.0, 3.6, 3.7]

登录后复制

此时，name成为了列索引的名称，Type成为了行索引的名称，这通常不是最终期望的格式。

3.3 优化结果结构

为了使输出更加整洁，我们通常会进行以下两步优化：

rename_axis(None, axis=1): 移除列索引的名称（即name）。
reset_index(): 将当前的索引（Type）转换为普通列。

将这些操作链式地添加到pivot之后，即可得到最终的、符合要求的DataFrame。

# 步骤3: 优化结果结构，移除列索引名称并重置索引
final_df = (df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1))
            .pivot(index='Type', columns='name', values='value')
            .rename_axis(None, axis=1)
            .reset_index())
print("\n最终重塑的DataFrame:")
print(final_df)

登录后复制

最终输出：

  Type              AAA              BBB              CCC
0  NEW  [1.0, 1.5, 1.8]  [2.0, 2.3, 2.5]  [3.0, 3.6, 3.7]

登录后复制

4. 完整代码示例

以下是实现整个过程的完整Python代码：

import pandas as pd

# 准备示例DataFrame
data = {
    'id': [1, 2, 3],
    'name': ['AAA', 'BBB', 'CCC'],
    'value1': [1.0, 2.0, 3.0],
    'value2': [1.5, 2.3, 3.6],
    'value3': [1.8, 2.5, 3.7],
    'Type': ['NEW', 'NEW', 'NEW']
}
df = pd.DataFrame(data)

# 链式操作实现DataFrame重塑
final_df = (df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1))
            .pivot(index='Type', columns='name', values='value')
            .rename_axis(None, axis=1)
            .reset_index())

print("原始DataFrame:")
print(df)
print("\n重塑后的DataFrame:")
print(final_df)

登录后复制

5. 注意事项

pivot()的限制: pivot()函数要求index和columns参数的组合必须是唯一的。如果存在重复组合，pivot()会报错。在这种情况下，应考虑使用pivot_table()，它允许指定聚合函数来处理重复值。
性能: 对于非常大的DataFrame，apply(list, axis=1)虽然方便，但在某些极端情况下可能不如Numpy操作或更底层的Pandas函数高效。但对于大多数常见场景，这种方法是完全可接受且高效的。
列选择: df.loc[:, 'value1':'value3']使用了列名切片，这要求value1、value2、value3在DataFrame中是连续的。如果列不连续，可以使用一个列表来显式指定要聚合的列，例如 df[['value1', 'value2', 'value3']]。

6. 总结

通过结合assign()、apply()和pivot()函数，Pandas提供了一种强大且简洁的方式来处理DataFrame的复杂重塑任务。这种方法不仅避免了低效的循环操作，提高了代码的可读性和执行效率，也展示了Pandas链式操作的灵活性，是数据科学家和分析师在日常工作中处理数据转换的宝贵技巧。掌握这种模式，能够更有效地管理和分析结构复杂的数据。

以上就是Pandas DataFrame 高效重塑：将多列聚合为列表并进行透视操作的详细内容，更多请关注php中文网其它相关文章！