本文详细介绍了在pandas dataframe中将多个具有相似前缀的列（如`right_count`、`left_count`）高效地重塑为新的结构化长表的方法。通过自定义multiindex、结合`melt`与`pivot`函数，以及利用`janitor`库的`pivot_longer`，您将学会如何将宽格式数据转换为更易于分析的长格式，从而提升数据处理的灵活性和效率。
在数据分析和处理中，我们经常会遇到需要将DataFrame从“宽格式”转换为“长格式”的情况。宽格式数据通常意味着同一类型的数据（如计数、总和）分散在多个列中，这些列通过前缀或后缀区分不同的类别。例如，right_count和left_count表示不同“侧面”的计数。将这类数据转换为长格式，可以使其更符合整洁数据原则，便于后续的聚合分析和可视化。
本文将以一个具体的示例出发，演示如何将包含right_count、right_sum、left_count、left_sum等列的DataFrame，重塑为包含side（表示左右）、count和sum的新列的DataFrame。
首先，我们定义示例DataFrame：
import pandas as pd
df = pd.DataFrame({
'date': ['2023-12-01', '2023-12-05', '2023-12-07'],
'other_col': ['a', 'b', 'c'],
'right_count': [4, 7, 9],
'right_sum': [2, 3, 5],
'left_count': [1, 8, 5],
'left_sum': [0, 8, 4]
})
print("原始DataFrame:")
print(df)原始DataFrame结构如下：
date other_col right_count right_sum left_count left_sum 0 2023-12-01 a 4 2 1 0 1 2023-12-05 b 7 3 8 8 2 2023-12-07 c 9 5 5 4
我们的目标是将其转换为以下结构：
date other_col side count sum 0 2023-12-01 a right 4 2 1 2023-12-05 b right 7 3 2 2023-12-07 c right 9 5 3 2023-12-01 a left 1 0 4 2023-12-05 b left 8 8 5 2022-12-07 c left 5 4
下面将介绍三种实现这种重塑的方法。
方法一：利用MultiIndex进行自定义重塑
这种方法通过巧妙地利用Pandas的MultiIndex功能，将列名拆分为多级索引，然后通过stack操作完成重塑。
- 设置索引: 首先，将不需要重塑的列（date, other_col）设置为DataFrame的索引。
- 拆分列名创建MultiIndex: 使用str.split('_', expand=True)将列名（如right_count）拆分为两部分（right和count），并将其设置为新的列索引。
- 重命名列索引: 为新的多级列索引命名，第一级为side，第二级不命名（None）。
- 堆叠（Stack）: 对side这一级索引进行堆叠操作，将其从列转换为行。
- 重置索引: 最后，将所有索引重置为常规列，得到最终的长格式DataFrame。
out_multiindex = (df
.set_index(['date', 'other_col'])
.pipe(lambda x: x.set_axis(x.columns.str.split('_', expand=True), axis=1))
.rename_axis(columns=['side', None])
.stack('side')
.reset_index()
)
print("\n方法一：MultiIndex重塑结果:")
print(out_multiindex)输出示例:
date other_col side count sum 0 2023-12-01 a left 1 0 1 2023-12-01 a right 4 2 2 2023-12-05 b left 8 8 3 2023-12-05 b right 7 3 4 2023-12-07 c left 5 4 5 2023-12-07 c right 9 5
方法二：结合melt与pivot函数
这种方法是Pandas中处理宽长表转换的经典组合，melt用于将宽表转换为更长的格式，而pivot则用于将特定列的值转换为新的列。
- melt操作: 使用pd.melt将right_count、right_sum、left_count、left_sum这些列“融化”到一行中。id_vars参数指定不变的标识列，var_name指定新生成的变量列的名称（这里是side），value_name指定新生成的值列的名称。
- 拆分side列: melt操作后，side列将包含right_count、left_sum等字符串。我们需要将其拆分为side（left/right）和col（count/sum）两部分。
- pivot操作: 最后，使用pivot函数将col列的值转换为新的列名（count和sum），并以date、other_col和新拆分出的side作为新的行索引。
- 重置索引与清理: 重置索引并将列索引名称清除。
tmp = df.melt(['date', 'other_col'], var_name='temp_col')
tmp[['side', 'col']] = tmp['temp_col'].str.split('_', n=1, expand=True)
out_melt_pivot = (tmp.pivot(index=['date', 'other_col', 'side'],
columns='col', values='value')
.reset_index()
.rename_axis(columns=None)
)
print("\n方法二：melt与pivot组合结果:")
print(out_melt_pivot)输出示例:
date other_col side count sum 0 2023-12-01 a left 1 0 1 2023-12-01 a right 4 2 2 2023-12-05 b left 8 8 3 2023-12-05 b right 7 3 4 2023-12-07 c left 5 4 5 2023-12-07 c right 9 5
方法三：使用janitor库的pivot_longer
pyjanitor是一个提供了许多实用数据清理和转换函数的Python库，其pivot_longer函数专门用于处理此类宽长表转换，语法更为直观简洁。
-
安装janitor: 如果尚未安装，需要先通过pip安装。
pip install pyjanitor
- 导入janitor: 在代码中导入该库。
-
使用pivot_longer:
- index: 指定作为标识符的列，这些列不会被重塑。
- names_to: 一个元组，指定新生成的两列的名称，例如('side', '.value')。.value是一个特殊占位符，表示从原列名中提取出的值将直接作为新的列名。
- names_pattern: 一个正则表达式，用于从原始列名中提取side和.value部分。r'([^_]+)_([^_]+)'表示匹配下划线分隔的两部分，并分别捕获。
# pip install pyjanitor
import janitor
out_janitor = df.pivot_longer(index=['date', 'other_col'],
names_to=('side', '.value'),
names_pattern=r'([^_]+)_([^_]+)')
print("\n方法三：janitor.pivot_longer结果:")
print(out_janitor)输出示例:
date other_col side count sum 0 2023-12-01 a right 4 2 1 2023-12-05 b right 7 3 2 2023-12-07 c right 9 5 3 2023-12-01 a left 1 0 4 2023-12-05 b left 8 8 5 2023-12-07 c left 5 4
总结与选择建议
以上三种方法都能有效地将DataFrame从宽格式重塑为长格式，但各有特点：
- 方法一（MultiIndex自定义重塑）: 这种方法纯粹使用Pandas内置功能，灵活性高，对于理解Pandas索引和重塑机制非常有帮助。代码相对紧凑，但对于初学者可能略显复杂。
- 方法二（melt与pivot组合）: 这是Pandas中非常经典且强大的宽长表转换模式。melt负责“拉平”数据，pivot负责“旋转”数据。它非常通用，适用于多种复杂的重塑场景，理解其工作原理对掌握Pandas数据处理至关重要。
- 方法三（janitor.pivot_longer）: 如果您的工作流中经常涉及这类按模式拆分列名并重塑的需求，janitor库的pivot_longer提供了最简洁、最直观的API。它将复杂的逻辑封装起来，大大提高了代码的可读性和编写效率。对于追求代码简洁和开发效率的用户，强烈推荐使用。
在实际应用中，您可以根据个人偏好、项目依赖以及对代码可读性和维护性的要求来选择最适合的方法。对于大多数按模式重塑列名的情况，janitor.pivot_longer无疑是最高效且易于理解的选择。
