Python Pandas：基于列名前缀合并与归一化DataFrame数据-Python教程-PHP中文网

Python Pandas：基于列名前缀合并与归一化DataFrame数据

花韻仙語

发布： 2025-12-05 09:41:02

原创

234人浏览过

Python Pandas：基于列名前缀合并与归一化DataFrame数据

本文详细介绍了如何使用pandas库处理具有特殊命名规则的dataframe列。针对以'+'或'-'前缀命名的列，教程演示了如何将'-'前缀列的值取反，然后通过正则表达式去除前缀，最终利用`groupby`和`sum`操作将对应列合并，实现数据归一化。此方法能有效整合正负值，生成结构清晰、易于分析的新dataframe。

在数据处理和分析过程中，我们经常会遇到需要对DataFrame中的数据进行归一化或合并的情况。有时，数据集的列名会带有特定的前缀，例如+和-，它们可能分别代表某一指标的正向和负向贡献。本教程将详细讲解如何处理这类特殊结构的DataFrame，通过将负向贡献从正向贡献中减去，并统一列名，从而得到一个规范化的数据集。

1. 理解问题背景与目标

假设我们有一个DataFrame，其列名以+或-开头，例如+Col01和-Col01。我们的目标是实现以下转换：

将所有以-开头的列的值乘以-1，使其变为负数。
对于具有相同基础名称（即去除+或-前缀后）的列（如+Col01和-Col01），将它们合并成一列（如Col01）。合并的逻辑是简单求和，由于第二步已将负向列的值取反，求和操作实际上就实现了“正值减去负值”的效果。
对于只有+或只有-前缀的列，也应正确处理并保留其值（对于-前缀的列，其值将变为负数）。
最终，所有列名都应去除+或-前缀。

让我们通过一个具体的例子来演示这个过程。

2. 准备示例数据

首先，我们创建一个符合上述描述的Pandas DataFrame作为示例：

立即学习“Python免费学习笔记（深入）”；

import pandas as pd

data = {
    'RepID': [1, 2, 3, 4, 5],
    '+Col01': [5, 1, 9, 3, 0],
    '+Col02': [7, 3, 8, 1, 7],
    '+Col03': [9, 3, 0, 0, 1],
    '-Col01': [8, 3, 9, 5, 2],
    '+Col04': [3, 1, 4, 8, 0],
    '+Col05': [8, 2, 9, 7, 0],
    '-Col03': [1, 2, 5, 1, 2],
    '-Col04': [9, 3, 1, 0, 9],
    '+Col06': [4, 6, 2, 9, 2],
    '-Col07': [6, 0, 0, 2, 1]
}
df = pd.DataFrame(data)

print("原始 DataFrame:")
print(df)

登录后复制

输出的原始 DataFrame 如下：

原始 DataFrame:
   RepID  +Col01  +Col02  +Col03  -Col01  +Col04  +Col05  -Col03  -Col04  +Col06  -Col07
0      1       5       7       9       8       3       8       1       9       4       6
1      2       1       3       3       3       1       2       2       3       6       0
2      3       9       8       0       9       4       9       5       1       2       0
3      4       3       1       0       5       8       7       1       0       9       2
4      5       0       7       1       2       0       0       2       9       2       1

登录后复制

3. 实现数据归一化与列合并

我们将分步实现上述目标。

3.1 识别并反转负向列的值

首先，我们需要识别所有以-开头的列，并将其值乘以-1。这样，当我们将这些列与对应的+列相加时，实际上就实现了减法操作。

# 识别所有以'-'开头的列名
negative_cols = df.columns[df.columns.str.startswith('-')]

# 将这些列的值乘以-1
df[negative_cols] = df[negative_cols].mul(-1)

print("\n反转'-'前缀列值后的 DataFrame:")
print(df)

登录后复制

此时 DataFrame 的变化：

反转'-'前缀列值后的 DataFrame:
   RepID  +Col01  +Col02  +Col03  -Col01  +Col04  +Col05  -Col03  -Col04  +Col06  -Col07
0      1       5       7       9      -8       3       8      -1      -9       4      -6
1      2       1       3       3      -3       1       2      -2      -3       6       0
2      3       9       8       0      -9       4       9      -5      -1       2       0
3      4       3       1       0      -5       8       7      -1       0       9      -2
4      5       0       7       1      -2       0       0      -2      -9       2      -1

登录后复制

可以看到，-Col01、-Col03、-Col04和-Col07列的值已经变成了负数。

AiTxt 文案助手

AiTxt 利用 Ai 帮助你生成您想要的一切文案，提升你的工作效率。

查看详情

3.2 生成用于分组的基础列名

为了将+Col01和-Col01合并为Col01，我们需要一个共同的“键”。这个键就是去除+或-前缀后的列名。我们可以使用字符串替换和正则表达式来完成此操作。

# 使用正则表达式去除列名中的'+'或'-'前缀，生成用于分组的新列名列表
# '[+-]' 匹配 '+' 或 '-' 字符
# regex=True 表示使用正则表达式
group_names = df.columns.str.replace('[+-]', '', regex=True)

print("\n生成的用于分组的列名列表:")
print(group_names)

登录后复制

group_names将是：

Index(['RepID', 'Col01', 'Col02', 'Col03', 'Col01', 'Col04', 'Col05', 'Col03',
       'Col04', 'Col06', 'Col07'],
      dtype='object')

登录后复制

注意，此时Col01、Col03、Col04出现了重复，这正是我们想要分组的依据。

3.3 按基础列名分组并求和

现在，我们可以使用groupby方法，以group_names作为分组依据，并沿着列轴（axis=1）进行求和。

# 按新的列名列表进行分组，并在列轴上求和
# axis=1 表示按列进行分组操作
# sort=False 保持原始列的相对顺序
output_df = df.groupby(group_names, axis=1, sort=False).sum()

print("\n最终归一化后的 DataFrame:")
print(output_df)

登录后复制

最终归一化后的 DataFrame 如下：

最终归一化后的 DataFrame:
   RepID  Col01  Col02  Col03  Col04  Col05  Col06  Col07
0      1     -3      7      8     -6      8      4     -6
1      2     -2      3      1     -2      2      6      0
2      3      0      8     -5      3      9      2      0
3      4     -2      1     -1      8      7      9     -2
4      5     -2      7     -1     -9      0      2     -1

登录后复制

让我们以第一行为例，验证Col01、Col03、Col04和Col07的计算：

Col01: 原始 +Col01 是 5，-Col01 是 8。反转后 -Col01 变为 -8。所以 5 + (-8) = -3。
Col02: 原始 +Col02 是 7。没有 -Col02。所以 7。
Col03: 原始 +Col03 是 9，-Col03 是 1。反转后 -Col03 变为 -1。所以 9 + (-1) = 8。
Col04: 原始 +Col04 是 3，-Col04 是 9。反转后 -Col04 变为 -9。所以 3 + (-9) = -6。
Col05: 原始 +Col05 是 8。没有 -Col05。所以 8。
Col06: 原始 +Col06 是 4。没有 -Col06。所以 4。
Col07: 原始 -Col07 是 6。反转后 -Col07 变为 -6。所以 -6。

所有计算结果与预期完全一致。

4. 完整代码示例

将上述步骤整合到一起，得到完整的解决方案代码：

import pandas as pd

# 1. 准备示例数据
data = {
    'RepID': [1, 2, 3, 4, 5],
    '+Col01': [5, 1, 9, 3, 0],
    '+Col02': [7, 3, 8, 1, 7],
    '+Col03': [9, 3, 0, 0, 1],
    '-Col01': [8, 3, 9, 5, 2],
    '+Col04': [3, 1, 4, 8, 0],
    '+Col05': [8, 2, 9, 7, 0],
    '-Col03': [1, 2, 5, 1, 2],
    '-Col04': [9, 3, 1, 0, 9],
    '+Col06': [4, 6, 2, 9, 2],
    '-Col07': [6, 0, 0, 2, 1]
}
df = pd.DataFrame(data)

print("--- 原始 DataFrame ---")
print(df)

# 2. 识别并反转负向列的值
# 提取所有以'-'开头的列名
negative_cols = df.columns[df.columns.str.startswith('-')]
# 将这些列的值乘以-1
df[negative_cols] = df[negative_cols].mul(-1)

# 3. 生成用于分组的基础列名
# 使用正则表达式去除列名中的'+'或'-'前缀
group_names = df.columns.str.replace('[+-]', '', regex=True)

# 4. 按基础列名分组并求和
# 在列轴上按group_names分组，并对每个组求和
# sort=False 保持原始列的相对顺序，对于RepID等非归一化列尤其重要
output_df = df.groupby(group_names, axis=1, sort=False).sum()

print("\n--- 归一化后的 DataFrame ---")
print(output_df)

登录后复制

5. 注意事项与总结

axis=1 的重要性：在 groupby 操作中，axis=1 是关键。它告诉 Pandas 沿着列方向进行分组和聚合，而不是默认的行方向。
sort=False 的作用：为了保持原始 DataFrame 中列的相对顺序（例如 RepID 应该始终在最前面），我们使用了 sort=False。如果设置为 True（默认值），groupby 会对分组键进行排序，可能改变列的顺序。
正则表达式 [+-]：这个正则表达式匹配单个的 + 或 - 字符。regex=True 参数是必需的，以启用正则表达式匹配。
处理只有+或只有-的列：本方法能够正确处理只有+前缀或只有-前缀的列。例如，+Col02没有对应的-Col02，它会自成一组，其值保持不变。-Col07没有对应的+Col07，其值在第一步被反转后，也会自成一组，最终以负值形式存在。
数据类型：此方法假设相关列包含数值数据。如果列中包含非数值数据，mul(-1)或sum()操作可能会引发错误或产生非预期的结果。

通过上述步骤，我们成功地将带有特殊前缀的 DataFrame 列进行了归一化和合并，生成了一个结构清晰、易于进一步分析的新 DataFrame。这种方法在处理需要整合正负贡献的数据集时非常有效。

以上就是Python Pandas：基于列名前缀合并与归一化DataFrame数据的详细内容，更多请关注php中文网其它相关文章！