计算Pandas DataFrame中多列的加权和（Sumproduct）

本文详细介绍了如何在Pandas DataFrame中高效地计算多列的加权和（或称Sumproduct），其中权重本身也存储在DataFrame的不同列中。通过利用Pandas的强大功能，特别是通过将权重列转换为NumPy数组进行元素级乘法，并结合行级求和，我们能够实现一个灵活且可扩展的解决方案，以应对具有多对值和权重列的数据场景。

引言

在数据分析和处理中，我们经常需要对DataFrame中的多列进行加权求和，即计算“Sumproduct”。一个常见的场景是，数据集中包含多组数值列和对应的权重列，例如 state1 与 pop1、state2 与 pop2，我们希望得到 state1 * pop1 + state2 * pop2 这样的结果，并将其作为一个新列添加到DataFrame中。本教程将指导您如何使用Pandas高效、灵活地实现这一目标。

问题描述与初始数据

假设我们有一个Pandas DataFrame，其中包含若干个“状态”值列（如 state1, state2）和对应的“人口”权重列（如 pop1, pop2）。我们的目标是计算每一行中 stateX * popX 对的总和，并将其存储在一个名为 sumproduct 的新列中。

以下是我们的示例DataFrame：

import pandas as pd

df_data = pd.DataFrame.from_dict({
    'state1': [1, 2, 3], 
    'state2': [2, 4, 6], 
    'pop1': [1, 1, 1], 
    'pop2': [1, 1, 2]
})

print("原始DataFrame:")
print(df_data)

期望的输出结果如下，新增了一个 sumproduct 列：

   state1  state2  pop1  pop2  sumproduct
0       1       2     1     1           3  (计算: 1*1 + 2*1)
1       2       4     1     1           6  (计算: 2*1 + 4*1)
2       3       6     1     2          15  (计算: 3*1 + 6*2)

许多初学者可能会尝试直接对子DataFrame进行乘法操作，例如 (df_data[['state1', 'state2']] * df_data[['pop1', 'pop2']]).sum(axis = 1)。然而，这种方法通常不会得到预期的结果。这是因为Pandas在对两个DataFrame进行乘法操作时，会尝试根据列名进行对齐。如果两个DataFrame的列名不完全匹配，例如 state1 列在第二个DataFrame中找不到对应的 state1 列，它将无法进行有效的元素乘法，导致结果中出现 NaN，最终求和时可能得到 0.0。我们需要一种方法来确保 stateX 与 popX 进行元素级别的对应乘法，而忽略列名的不匹配。

解决方案：使用 .mul() 和 .values

为了正确计算加权和，我们需要确保状态值列与对应的权重列进行元素级乘法，然后将这些乘积在行级别上求和。关键在于如何让Pandas执行基于位置而非列名的元素级乘法。

Fotor AI Face Generator

Fotor 平台的在线 AI 头像生成器

50

查看详情

核心思想是：

1. 选择所有“状态”列，形成一个子DataFrame。
2. 选择所有“人口”权重列，并将其转换为NumPy数组。将权重列转换为NumPy数组是关键步骤，它会强制Pandas在与状态列DataFrame相乘时，执行基于位置的元素级乘法，而不是基于列名的对齐乘法。
3. 对乘法结果在行级别上求和。

下面是实现这一目标的详细步骤和代码：

1. 识别相关列

首先，我们需要识别出所有需要参与计算的“状态”列和“人口”权重列。这可以通过列名模式匹配来实现，例如使用 startswith() 方法，以确保代码的通用性和可扩展性。

# 识别所有以 'state' 开头的列作为状态列
state_cols = [col for col in df_data.columns if col.startswith('state')]
# 识别所有以 'pop' 开头的列作为权重（人口）列
pop_cols = [col for col in df_data.columns if col.startswith('pop')]

print(f"识别到的状态列: {state_cols}")
print(f"识别到的权重列: {pop_cols}")

2. 执行元素级乘法与行级求和

现在，我们将使用 DataFrame.mul() 方法进行元素级乘法，并通过 .values 属性确保权重列的乘法是基于位置的。

# 提取状态值列的DataFrame
states_df = df_data[state_cols]

# 提取权重列的DataFrame，并转换为NumPy数组
# `.values` 是这里的关键。它将DataFrame转换为底层的NumPy数组，
# 从而在与 `states_df` (DataFrame) 相乘时，Pandas会执行基于位置的元素级乘法，
# 而不是尝试按列名对齐。
pops_array = df_data[pop_cols].values

# 执行元素级乘法
# `states_df.mul(pops_array)` 会在对应位置上进行乘法。
# 结果会是一个与 `states_df` 形状相同的DataFrame，其中每个元素是对应位置的乘积。
multiplied_df = states_df.mul(pops_array)

# 对乘法结果在每一行上求和，得到最终的sumproduct
df_data['sumproduct'] = multiplied_df.sum(axis=1)

print("\n计算后的DataFrame:")
print(df_data)

完整示例代码

将上述步骤整合，得到完整的解决方案代码：

import pandas as pd

# 1. 准备数据
df_data = pd.DataFrame.from_dict({
    'state1': [1, 2, 3], 
    'state2': [2, 4, 6], 
    'pop1': [1, 1, 1], 
    'pop2': [1, 1, 2]
})

print("原始DataFrame:")
print(df_data)

# 2. 识别相关列
state_cols = [col for col in df_data.columns if col.startswith('state')]
pop_cols = [col for col in df_data.columns if col.startswith('pop')]

# 3. 计算 'sumproduct' 列
# 关键步骤：df_data[pop_cols].values 将权重列转换为NumPy数组，
# 确保与df_data[state_cols]进行的是基于位置的元素级乘法。
# 然后对结果在行方向（axis=1）上求和。
df_data['sumproduct'] = df_data[state_cols].mul(df_data[pop_cols].values).sum(axis=1)

print("\n最终DataFrame（包含sumproduct列）:")
print(df_data)

注意事项与扩展

• .values 的核心作用： df_data[pop_cols].values 是此方法成功的关键。如果没有 .values，Pandas 在尝试 df_data[state_cols] * df_data[pop_cols] 时会尝试根据列名进行对齐。由于 state1 列在 df_data[pop_cols] 中不存在，它将无法找到对应的乘数，导致结果中出现 NaN，最终求和可能为 0.0。通过 values 属性，我们强制 Pandas 将 df_data[pop_cols] 视为一个纯粹的二维NumPy数组，与 df_data[state_cols] 进行位置上的元素级乘法，从而实现了我们期望的“对应列相乘”行为。
• 列名约定： 此方法非常适合列名遵循 prefixX 模式的场景，例如 state1, state2, ... 和 pop1, pop2, ...。只要状态列和权重列的顺序在各自的子集中是对应的（即 state_cols 的第一个元素对应 pop_cols 的第一个元素，以此类推），此方法就能正常工作。
• 可扩展性： 这种方法具有很好的可扩展性。无论有多少对 stateX 和 popX 列，只要它们遵循相同的命名模式，代码都无需修改，这使得它非常适合处理动态或大规模的数据集。
• 错误处理： 在实际应用中，您可能需要添加额外的检查，例如确保 state_cols 和 pop_cols 的长度相同，以避免维度不匹配导致的运行时错误。如果长度不匹配，states_df.mul(pops_array) 将会因为形状不兼容而报错。

总结

本教程详细展示了如何在Pandas DataFrame中高效且灵活地计算多列的加权和（Sumproduct）。通过巧妙地利用 DataFrame.mul() 方法结合 Series/DataFrame.values 属性，我们能够绕过Pandas默认的列名对齐机制，实现基于位置的元素级乘法，并最终通过 sum(axis=1) 聚合得到期望的加权和结果。这种方法不仅代码简洁、逻辑清晰，而且具有出色的可读性和可扩展性，是处理此类数据转换任务的推荐实践。

以上就是计算Pandas DataFrame中多列的加权和（Sumproduct）的详细内容，更多请关注php中文网其它相关文章！