本文介绍了如何利用pandas的`rank(pct=true)`方法，高效地计算dataframe中每列数据在指定分位数（如20%到80%）范围内的均值。通过将数据转换为百分比排名，我们可以精确筛选出位于特定分位数区间内的数值，从而避免了直接使用`np.quantile`进行跨列比较时可能遇到的类型错误，为数据清洗和统计分析提供了简洁而强大的解决方案。
在数据分析中，我们经常需要对数据集进行清洗和统计，其中一个常见的需求是计算各列的统计量，但仅考虑那些处于特定分位数范围内的数值。例如，我们可能希望计算每列数据的均值，但排除掉最低的20%和最高的20%的异常值或极端值，只考虑中间80%的数据。这种方法有助于获得更稳健的统计结果。
挑战与常见误区
当尝试对DataFrame的每一列独立应用分位数筛选时，直接使用numpy.quantile计算出分位数边界，然后尝试用一个二维数组（或Series）去直接比较整个DataFrame，可能会遇到类型不匹配或广播错误。例如，如果尝试将一个DataFrame df 与一个包含各列分位数的NumPy数组 q20 和 q80 进行比较，如 (df > q20) & (df gorical与ndarray）或无法正确广播。这是因为Pandas在进行这种跨维度比较时，需要确保操作的语义是清晰且支持的。
使用 rank(pct=True) 进行高效分位数筛选
Pandas提供了一个非常优雅且强大的方法来解决这个问题：DataFrame.rank(pct=True)。这个方法能够将DataFrame中的每个数值转换为其在该列中的百分比排名。
rank(pct=True) 的工作原理
- df.rank()：计算DataFrame中每个元素在其所属列中的排名。默认情况下，它会根据数值大小赋予整数排名。
- pct=True：当设置为True时，rank()函数会将计算出的整数排名转换为百分比排名（即：(排名 - 1) / (非NaN值的数量 - 1)）。这意味着，如果一个值位于该列的20%分位数，其百分比排名将接近0.2；如果位于80%分位数，其百分比排名将接近0.8。
通过这种方式，我们可以为DataFrame中的每个数值生成一个对应的百分比排名矩阵，然后就可以直接对这个排名矩阵进行数值比较，从而筛选出符合分位数条件的原始数据。
实施步骤与示例代码
下面将通过一个具体的例子，演示如何使用df.rank(pct=True)来计算每列在20%到80%分位数范围内的均值。
首先，我们创建一个示例DataFrame：
import pandas as pd
import numpy as np
# 创建示例DataFrame
df = pd.DataFrame({
"A": [1, 1, 20, 2, 2, 3, 50, 7, 8, 15, 20, 35, 50, 70],
"B": [10, 100, 20, 20, 200, 30, 50, 70, 80, 150, 200, 350, 500, 700]
})
print("原始DataFrame:")
print(df)接下来，我们利用rank(pct=True)生成百分比排名，并构建布尔掩码进行筛选：
# 计算每个值的百分比排名
df_ranked_pct = df.rank(pct=True)
print("\nDataFrame的百分比排名:")
print(df_ranked_pct)
# 构建布尔掩码：筛选出百分比排名在0.2（含）到0.8（含）之间的值
# .ge(0.2) 表示大于等于0.2
# .le(0.8) 表示小于等于0.8
mask = df_ranked_pct.ge(0.2) & df_ranked_pct.le(0.8)
print("\n筛选掩码:")
print(mask)
# 应用掩码到原始DataFrame，并计算每列的均值
# 不符合条件的值将变为NaN，计算均值时会自动忽略NaN
filtered_means = df[mask].mean()
print("\n每列在20%-80%分位数范围内的均值:")
print(filtered_means)代码解析
- df.rank(pct=True): 这一步是核心。它为DataFrame df 中的每个元素计算其在所属列中的百分比排名。例如，如果列A有14个元素，最小的元素排名百分比接近0，最大的接近1。
- .ge(0.2): 对df_ranked_pct中的每个元素进行判断，是否大于等于0.2。这将返回一个布尔型的DataFrame。
- .le(0.8): 对df_ranked_pct中的每个元素进行判断，是否小于等于0.8。同样返回一个布尔型的DataFrame。
- & (逻辑与): 将上述两个布尔型DataFrame进行按元素逻辑与操作。只有当一个元素的百分比排名同时满足大于等于0.2和小于等于0.8时，对应的布尔值为True，否则为False。这个结果就是我们需要的筛选掩码。
- df[mask]: 将这个布尔掩码应用于原始DataFrame df。所有在mask中对应为False的位置上的原始数据，在结果DataFrame中将变为NaN（Not a Number）。
- .mean(): 对经过筛选（包含NaN）的DataFrame计算每列的均值。Pandas的mean()函数在计算时会自动忽略NaN值，因此我们得到的就是在指定分位数范围内数值的均值。
输出结果
运行上述代码，您将得到如下输出：
原始DataFrame:
A B
0 1 10
1 1 100
2 20 20
3 2 20
4 2 200
5 3 30
6 50 50
7 7 70
8 8 80
9 15 150
10 20 200
11 35 350
12 50 500
13 70 70
DataFrame的百分比排名:
A B
0 0.071429 0.071429
1 0.071429 0.571429
2 0.785714 0.178571
3 0.285714 0.178571
4 0.285714 0.785714
5 0.428571 0.285714
6 0.892857 0.392857
7 0.500000 0.464286
8 0.571429 0.500000
9 0.642857 0.642857
10 0.785714 0.785714
11 0.857143 0.857143
12 0.892857 0.928571
13 1.000000 0.464286
筛选掩码:
A B
0 False False
1 False True
2 True False
3 True False
4 True True
5 True True
6 False True
7 True True
8 True True
9 True True
10 True True
11 False False
12 False False
13 False False
每列在20%-80%分位数范围内的均值:
A 12.444444
B 110.000000
dtype: float64总结
通过使用df.rank(pct=True)方法，我们可以简洁而有效地实现对DataFrame各列基于百分比分位数的筛选，并在此基础上计算所需的统计量。这种方法避免了直接分位数比较可能带来的类型错误，并且能够灵活地适应不同的分位数范围需求，是进行数据清洗和稳健统计分析的推荐实践。
