pandas.DataFrame.corr()默认计算皮尔逊相关系数,需显式指定method='spearman'才能计算斯皮尔曼;后者基于秩次,对异常值和非线性关系更鲁棒;scipy.stats中pearsonr和spearmanr均返回(相关系数, p值)元组,p值是判断统计显著性的关键。

用 pandas.DataFrame.corr() 时,默认算的是皮尔逊,不是斯皮尔曼
很多人调用 df.corr() 后发现结果和手动算的斯皮尔曼不一致,其实是没指定方法。它默认用 method='pearson',想换斯皮尔曼得显式传参。
- 皮尔逊要求变量近似线性、服从正态分布;斯皮尔曼只依赖排序,对异常值和非线性关系更鲁棒
- 如果数据有明显偏态、离群点,或只是等级数据(比如满意度打分 1~5),优先选
method='spearman' -
df.corr(method='kendall')也支持,但计算慢、对小样本敏感,日常少用
scipy.stats.pearsonr() 和 spearmanr() 返回两个值,别只取第一个
这两个函数返回的是 (相关系数, p值) 元组,常见错误是写成 r = pearsonr(x, y)[0] 就完事,其实 p 值才是判断“是否显著相关”的关键依据。
- 即使
r = 0.8,若p > 0.05,也不能说存在统计显著的相关性 - 样本量很小时(比如 n
- 注意输入必须是 1D array-like,不能直接传 DataFrame 列以外的结构(比如嵌套 list 或含 NaN 的 Series)
NaN 处理不统一,pandas.corr() 和 scipy 默认策略不同
pandas.DataFrame.corr() 默认用 min_periods=1,且自动剔除成对缺失(pairwise deletion);而 scipy.pearsonr() 遇到 NaN 直接报错:ValueError: Input contains NaN。
- 用
scipy前务必清理:比如x, y = zip(*[(a, b) for a, b in zip(x, y) if not (np.isnan(a) or np.isnan(b))]) - 或者更稳妥地用
scipy.stats.spearmanr(x, y, nan_policy='omit')—— 这个参数在pearsonr里不存在 - 如果数据缺失集中,两种方法剔除逻辑不同,可能导致相关系数差异明显(尤其小样本)
相关系数接近 ±1 不代表有因果,也不代表线性拟合效果好
这是最容易被忽略的实质问题:相关系数只衡量单调/线性关联强度,完全不反映关系形态。
立即学习“Python免费学习笔记(深入)”;
- 一个完美的二次关系(如 y = x²,x ∈ [-1, 1])皮尔逊 r ≈ 0,但斯皮尔曼可能接近 0.5——两者都可能严重误导
- 画散点图永远比看数字快:用
plt.scatter(x, y)看一眼,比调十次corr()更有用 - 当 r 绝对值










