在数据分析工作中，我们经常需要比较两个数据框（dataframe）中特定列的数值差异。当这些列包含浮点数时，比较过程会遇到两个主要挑战：浮点数精度问题和nan（not a number）值的处理。
挑战一：浮点数精度问题
计算机中浮点数的表示方式可能导致看似相同的数值在进行精确相等比较（==）时被判定为不同。例如，0.1 + 0.2可能不严格等于0.3。这在比较从不同来源或经过不同计算路径得出的浮点数时尤为常见，可能导致误报差异。
挑战二：NaN值的特殊性
NaN值在Python和Pandas中具有特殊的行为，即NaN == NaN的结果为False。这意味着如果两列在同一位置都包含NaN，直接比较会将其视为差异。然而，在许多实际场景中，我们希望将两个NaN值视为“相等”或“无差异”，不应将其计入差异总数。
为了克服这些挑战，Pandas提供了强大的工具来精确且灵活地执行此类比较。
解决方案：结合 round() 和 compare()
我们将使用pandas.DataFrame.round()方法来解决浮点数精度问题，并通过pandas.DataFrame.compare()方法来高效地找出差异，并自然地处理NaN值。
步骤一：统一浮点数精度
在进行比较之前，为了消除浮点数精度带来的干扰，我们需要将两列浮点数四舍五入到相同的有效小数位数。这可以通过对DataFrame的列应用round()方法实现。选择合适的四舍五入位数取决于数据的特性和对精度的要求。
import pandas as pd
import numpy as np
# 示例数据
d1 = {"col": [7.1, 2.0, 3.0, 4.0, np.nan, 1.9, 1.3]}
d2 = {"col": [7.1, 2.5, 3.0, 4.0, np.nan, 1.2, np.nan]}
df1 = pd.DataFrame(d1)
df2 = pd.DataFrame(d2)
print("原始DataFrame 1:")
print(df1)
print("\n原始DataFrame 2:")
print(df2)
# 将浮点数列四舍五入到指定小数位数（例如，4位）
# 这有助于解决浮点数精度问题
df1["col"] = df1["col"].round(4)
df2["col"] = df2["col"].round(4)
print("\n四舍五入后的DataFrame 1:")
print(df1)
print("\n四舍五入后的DataFrame 2:")
print(df2)在这个例子中，我们假设将浮点数四舍五入到小数点后4位足以解决精度问题。
步骤二：使用 compare() 方法找出差异
pandas.DataFrame.compare()方法专门用于比较两个DataFrame，并返回一个只包含差异行和列的新DataFrame。它的一个关键特性是，如果两个DataFrame在同一位置都包含NaN值，compare()方法默认不会将它们报告为差异，这恰好符合我们对NaN值“视为相等”的需求。
# 使用compare方法找出两个DataFrame之间的差异
# 默认情况下，如果两个DataFrame在同一位置都为NaN，则不会报告为差异
comparison = df1.compare(df2)
print("\n差异比较结果:")
print(comparison)compare()方法返回的DataFrame结构比较特殊，它会为每个差异列生成两列，分别标记为self和other，表示原DataFrame（调用compare()的DataFrame）和被比较DataFrame的值。
步骤三：统计差异行数
compare()方法返回的DataFrame的行数即为两个原始DataFrame中存在差异的行数。
# 统计差异行数
different_rows_count = len(comparison)
print(f"\n差异行总数: {different_rows_count}")完整示例代码及输出
将上述步骤整合，我们可以得到一个完整的解决方案：
import pandas as pd
import numpy as np # 导入numpy以使用np.nan
# 示例数据
d1 = {"col": [7.1, 2.0, 3.0, 4.0, np.nan, 1.9, 1.3]}
d2 = {"col": [7.1, 2.5, 3.0, 4.0, np.nan, 1.2, np.nan]}
df1 = pd.DataFrame(d1)
df2 = pd.DataFrame(d2)
# 打印原始数据框以便对比
print("--- 原始数据框 ---")
print("df1:")
print(df1)
print("\ndf2:")
print(df2)
# 步骤1: 处理浮点精度问题，将列四舍五入到指定小数位数
# 这里我们选择四舍五入到4位小数
df1_rounded = df1["col"].round(4)
df2_rounded = df2["col"].round(4)
# 将四舍五入后的Series重新赋值给DataFrame，或直接在比较时使用
# 为了清晰，我们这里直接对原始DataFrame的列进行修改
df1["col"] = df1_rounded
df2["col"] = df2_rounded
print("\n--- 四舍五入后的数据框 ---")
print("df1 (rounded):")
print(df1)
print("\ndf2 (rounded):")
print(df2)
# 步骤2: 使用compare方法找出差异
# compare方法默认会忽略两个DataFrame在同一位置都为NaN的情况，不将其视为差异
comparison_result = df1.compare(df2)
print("\n--- 差异比较结果 ---")
print(comparison_result)
# 步骤3: 统计差异行数
total_different_rows = len(comparison_result)
print(f"\n--- 差异行总数 ---")
print(f"总共有 {total_different_rows} 行存在差异。")
输出结果：
--- 原始数据框 --- df1: col 0 7.1 1 2.0 2 3.0 3 4.0 4 NaN 5 1.9 6 1.3 df2: col 0 7.1 1 2.5 2 3.0 3 4.0 4 NaN 5 1.2 6 NaN --- 四舍五入后的数据框 --- df1 (rounded): col 0 7.1 1 2.0 2 3.0 3 4.0 4 NaN 5 1.9 6 1.3 df2 (rounded): col 0 7.1 1 2.5 2 3.0 3 4.0 4 NaN 5 1.2 6 NaN --- 差异比较结果 --- col self other 1 2.0 2.5 5 1.9 1.2 6 1.3 NaN --- 差异行总数 --- 总共有 3 行存在差异。
从输出可以看出：
- 索引为1的行，df1中的2.0与df2中的2.5不同。
- 索引为5的行，df1中的1.9与df2中的1.2不同。
- 索引为6的行，df1中的1.3与df2中的NaN不同。
- 索引为4的行，df1和df2都为NaN，因此没有被compare()报告为差异，符合我们的预期。
最终统计的差异行数为3。
注意事项与总结
- 四舍五入精度选择： 选择合适的四舍五入位数至关重要。过高的精度可能无法完全消除浮点误差，而过低的精度可能将实际的微小差异误判为相等。通常，应根据业务需求和数据特性来决定。
- compare()的灵活性： pandas.DataFrame.compare()方法还提供了其他参数，如align_axis、keep_shape和keep_equal，以应对更复杂的比较场景。例如，keep_equal=True可以显示所有行，包括相等行，但对于本教程的需求（只关注差异），默认设置已足够。
- 性能考虑： 对于非常大的DataFrame，compare()方法通常比手动循环或使用逐元素比较（如np.isclose()结合布尔索引）更高效，因为它在C语言层面进行了优化。
- NaN处理： compare()方法在处理NaN时表现出良好的默认行为，即当两个DataFrame在同一位置都为NaN时，不将其视为差异。如果您的需求是将NaN与任何数值都视为差异，则可能需要额外的预处理步骤，例如使用fillna()将NaN替换为特定的哨兵值，但这与本教程的目标相反。
通过上述方法，我们可以有效地解决Pandas中含NaN浮点数列的比较难题，确保统计结果的准确性和可靠性。
