Pandas数据处理：根据指定列范围的数值条件创建响应标志列-Python教程-PHP中文网

Pandas数据处理：根据指定列范围的数值条件创建响应标志列

霞舞

发布： 2025-12-04 11:40:22

原创

771人浏览过

Pandas数据处理：根据指定列范围的数值条件创建响应标志列

本教程详细介绍了如何使用pandas库根据dataframe中特定范围列的数值条件动态创建新列。文章通过一个实际案例，演示了如何利用df.filter()结合正则表达式精确选择目标列，并利用.any()方法判断行内是否存在满足条件的数值（如大于0的事件数），最终高效地生成一个表示“响应者”状态的布尔或分类列。

在数据分析与处理中，我们经常需要根据DataFrame中多列的复杂条件来生成新的特征列。尤其当这些列名具有某种命名模式，并且需要根据其数值内容（例如是否存在大于零的值）来判断时，如何高效且灵活地筛选出目标列并进行条件判断，是一个常见的挑战。本教程将深入探讨如何利用Pandas的强大功能，特别是df.filter()方法结合正则表达式，以及.any()和np.where()函数，来解决这类问题。

场景描述

假设我们有一个实验数据DataFrame，其中包含动物ID、体重、项目类型以及一系列命名为events_d1, events_d2, events_d3, events_d4等事件计数列。我们的目标是创建一个名为“responder”的新列，根据以下规则填充：如果events_d1到events_d3这些列中（注意，不包括events_d4）至少有一个事件数大于0，则“responder”列值为'y'，否则为'n'。关键在于，我们希望能够通过模式匹配而非显式列名列表来选择events_d*列。

原始数据示例如下：

  Animal_ID weight Project Exp_type researcher events_d1 events_d2 events_d3 events_d4
0        a1     50      p1    Acute       alex         0         0         0         4
1        a2     52      p2  chronic        mat         0         1         1         5
2        a3     75      p1    Acute       alex         1       NaN         2       NaN
3        a4     53      p2  chronic        mat         0       NaN       NaN         0

登录后复制

期望的输出结果：

  Animal_ID weight responder Project Exp_type researcher events_d1 events_d2 events_d3 events_d4
0        a1     50         n      p1    Acute       alex         0         0         0         4
1        a2     52         y      p2  chronic        mat         0         1         1         5
2        a3     75         y      p1    Acute       alex         1       NaN         2       NaN
3        a4     53         n      p2  chronic        mat         0       NaN       NaN         0

登录后复制

核心方法解析

解决此问题的关键在于三个Pandas和NumPy的函数组合：df.filter()、.any(axis=1)和np.where()。

1. 使用 df.filter() 结合正则表达式筛选目标列

DataFrame.filter() 方法允许我们根据列名或索引的模式进行筛选。它提供了like、items和regex参数来实现不同的筛选逻辑。在本场景中，regex参数是理想选择，因为它允许我们使用正则表达式来精确匹配和排除列。

DubbingX智声云配

多情绪免费克隆AI音频工具

975

查看详情

正则表达式 events_d[^4] 的含义：
- events_d: 匹配字符串 "events_d"。
- [^4]: 这是一个字符集，表示匹配任何不是数字 '4' 的单个字符。
- 因此，events_d[^4] 将匹配 events_d1、events_d2、events_d3，但会排除 events_d4。

通过这种方式，我们可以动态地选择所有符合events_d模式且不以4结尾的列，而无需手动列出它们。

import pandas as pd
import numpy as np

# 示例数据
data = {
    'Animal_ID': ['a1', 'a2', 'a3', 'a4'],
    'weight': [50, 52, 75, 53],
    'Project': ['p1', 'p2', 'p1', 'p2'],
    'Exp_type': ['Acute', 'chronic', 'Acute', 'chronic'],
    'researcher': ['alex', 'mat', 'alex', 'mat'],
    'events_d1': [0, 0, 1, 0],
    'events_d2': [0, 1, np.nan, np.nan],
    'events_d3': [0, 1, 2, np.nan],
    'events_d4': [4, 5, np.nan, 0]
}
df = pd.DataFrame(data)

# 使用filter和正则表达式筛选目标列
filtered_df = df.filter(regex="events_d[^4]")
print("筛选后的列数据：")
print(filtered_df)

登录后复制

输出的 filtered_df 将只包含 events_d1, events_d2, events_d3 列。

   events_d1  events_d2  events_d3
0          0        0.0        0.0
1          0        1.0        1.0
2          1        NaN        2.0
3          0        NaN        NaN

登录后复制

2. 使用 .any(axis=1) 进行行级别条件判断

DataFrame.any() 方法用于检查DataFrame或Series中是否存在任何True值。当应用于数值型数据时，非零值通常被视为True，零值被视为False。

axis=1: 指定在行方向上进行操作，即对每一行进行判断。
此方法会返回一个布尔Series，其中每个元素对应DataFrame的一行。如果该行在指定列中至少有一个非零值，则为True；否则为False。
需要注意的是，NaN值在.any()判断中默认会被忽略。如果希望NaN也参与判断（例如，将NaN视为不满足条件），则需要在.any()之前对NaN进行填充（如fillna(0)）。在我们的场景中，NaN表示缺失数据或没有事件发生，因此将其视为不满足条件是合理的，any()默认忽略NaN的行为正好符合要求，因为它只关注是否存在 大于0 的事件。

# 判断筛选后的列中每行是否有大于0的值
# any()方法在判断时会将非零数值视为True，零和NaN视为False
m = filtered_df.any(axis=1)
print("\n每行是否包含大于0的事件（布尔掩码）：")
print(m)

登录后复制

输出的 m 将是一个布尔Series：

0    False
1     True
2     True
3    False
dtype: bool

登录后复制

3. 使用 np.where() 创建新列

numpy.where(condition, x, y) 是一个非常实用的函数，它根据一个布尔条件数组返回一个新数组。如果条件为True，则取x中的值；如果条件为False，则取y中的值。

condition: 即上一步生成的布尔Series m。
x: 当条件为True时赋的值，这里是 'y'。
y: 当条件为False时赋的值，这里是 'n'。

# 根据布尔掩码创建'responder'列
df['responder'] = np.where(m, 'y', 'n')
print("\n最终DataFrame：")
print(df

登录后复制

以上就是Pandas数据处理：根据指定列范围的数值条件创建响应标志列的详细内容，更多请关注php中文网其它相关文章！

大家都在看：

使用Python Regex高效匹配电话号码（含可选区号与分机） Python eval函数是什么？怎么使用？ Python画图用到哪些库？ python中的匿名函数如何使用？ python3中的lambda函数是什么？怎么用?