本文将介绍如何使用 Pandas 和 SciPy 库有效地对 DataFrame 中的多个列执行 T 检验。我们将通过示例代码，展示如何针对不同产品类别，比较其购买成本、保修年限和服务成本等指标的差异。同时，我们还将提供针对更多产品类别进行两两比较的通用方法，并提醒注意多重比较问题。
对指定列执行 T 检验
假设我们有一个包含产品信息的数据集，其中包含产品类别（Product）、购买成本（Purchase_cost）、保修年限（Warranty_years）和服务成本（service_cost）等列。我们的目标是比较不同产品类别在这些指标上的差异，例如，比较 laptop 和 printer 在购买成本、保修年限和服务成本上的差异。
首先，导入必要的库并创建 DataFrame：
import pandas as pd
from scipy.stats import ttest_ind
data = {'Product': ['laptop', 'printer','printer','printer','laptop','printer','laptop','laptop','printer','printer'],
'Purchase_cost': [120.09, 150.45, 300.12, 450.11, 200.55,175.89,124124.12,113.12,143.33,375.65],
'Warranty_years':[3,2,2,1,4,1,2,3,1,2],
'service_cost': [5,5,10,4,7,10,4,6,12,3]
}
df = pd.DataFrame(data)
print(df)接下来，我们可以使用 ttest_ind 函数对指定列执行 T 检验。该函数可以直接处理二维数组，因此我们可以一次性对多个列进行检验。
cols = df.columns.difference(['Product'])
# 或者使用明确的列名列表
# cols = ['Purchase_cost', 'Warranty_years', 'service_cost']
group1 = df[df['Product']=='laptop']
group2 = df[df['Product']=='printer']
out = pd.DataFrame(ttest_ind(group1[cols], group2[cols]),
columns=cols, index=['statistic', 'pvalue'])
print(out)这段代码首先定义了要进行 T 检验的列 cols，然后根据 Product 列将 DataFrame 分成两组 group1 和 group2，最后使用 ttest_ind 函数对两组数据的指定列进行 T 检验，并将结果存储在 DataFrame out 中。ttest_ind 返回 t 统计量和 p 值，分别表示两组数据在指定列上的差异程度和显著性水平。
对更多产品类别进行两两比较
如果数据集中包含更多产品类别，我们需要进行两两比较。可以使用 itertools.combinations 函数生成所有可能的类别组合，然后对每种组合执行 T 检验。
from itertools import combinations
cols = df.columns.difference(['Product'])
g = df.groupby('Product')[cols]
out = pd.concat({(a,b): pd.DataFrame(ttest_ind(g.get_group(a), g.get_group(b)),
columns=cols, index=['statistic', 'pvalue'])
for a, b in combinations(df['Product'].unique(), 2)
}, names=['product1', 'product2'])
print(out)这段代码首先使用 groupby 函数将 DataFrame 按照 Product 列进行分组，然后使用字典推导式和 combinations 函数生成所有可能的类别组合，并对每种组合执行 T 检验。最后，使用 pd.concat 函数将所有结果合并成一个 DataFrame。
注意事项
当进行多次 T 检验时，需要注意多重比较问题。由于每次 T 检验都有一定的概率出现假阳性结果，因此当进行多次检验时，出现至少一次假阳性结果的概率会显著增加。为了控制假阳性率，可以使用 Bonferroni 校正、FDR 校正等方法对 p 值进行调整。关于多重比较问题，可以参考 Multiple comparisons problem。
总结
本文介绍了如何使用 Pandas 和 SciPy 库对 DataFrame 中的多个列同时进行 T 检验。通过示例代码展示了如何针对不同产品类别，比较其购买成本、保修年限和服务成本等指标的差异，并提供了针对更多产品类别进行两两比较的通用方法。同时，提醒读者在进行多次 T 检验时，需要注意多重比较问题，并采取相应的校正方法。
