本文揭示了使用 pandas.Series.str.extract() 配合 apply() 清洗字符串列时意外产生大量 NaN 的核心原因——正则表达式模式与实际数据格式不匹配，并提供可复现的诊断方法与健壮的修复方案。
本文揭示了使用 `pandas.series.str.extract()` 配合 `apply()` 清洗字符串列时意外产生大量 nan 的核心原因——正则表达式模式与实际数据格式不匹配，并提供可复现的诊断方法与健壮的修复方案。
在 Pandas 数据清洗实践中，一个常见但易被忽视的问题是：看似相同的清洗逻辑，在不同数据源（如 CSV 文件 vs 手动构造列表）上执行结果却大相径庭。正如问题所示，当对 df[['X', 'Y']] 直接应用正则提取 + 替换逻辑时，大量本应成功解析的数值却返回 NaN；而将相同逻辑应用于手动构造的 new_df 时却完全正常。这并非 apply() 或正则引擎的 Bug，而是数据底层格式差异触发了正则匹配失败。
关键线索藏在原始 CSV 与人工列表的第一行对比中：
# data.csv 第一行（逗号分隔，无小数点）： 0,1,573436862,3887259269 # thelist 第一行（含小数点）： ['1', '573436.862', '3887259.269']
原正则 r'([a-z\d]+\.[a-z\d]+)' 强制要求匹配一个字面量点号 .（因 \. 是转义字符）。而 CSV 中的数字（如 573436862）是整数格式、不含小数点，导致 str.extract() 完全无法匹配，返回 NaN；后续的 .str.replace(...) 对 NaN 无作用，最终结果仍是 NaN。
✅ 正确做法是：使正则适配真实数据分布。若目标是提取任意浮点或整数形式的数字（无论是否带小数点），应改用更鲁棒的数字匹配模式：
import pandas as pd
import re
df = pd.read_csv('data.csv', index_col=[0])
# ✅ 推荐：匹配科学计数法/整数/小数（支持可选小数点及后续数字）
numeric_pattern = r'(-?\d+(?:\.\d+)?)'
out = df[['X', 'Y']].apply(lambda s:
s.str.extract(numeric_pattern, expand=False)
.str.replace(r'[^\d.-]+', '', regex=True) # 清理非数字、非小数点、非负号字符
.replace('', pd.NA) # 空字符串转为 NA，避免空字符串干扰
)
out.index += 1
print(out.head())⚠️ 注意事项：
- str.extract() 返回 NaN 表示无匹配，不是错误，需先确认数据是否真包含目标模式；
- 使用 expand=False 时，extract() 返回 Series；若需多组捕获，设 expand=True 并指定列名；
- str.replace(..., regex=True) 对 NaN 安全，但对空字符串（''）无效——务必用 .replace('', pd.NA) 或 .str.strip().replace('', pd.NA) 预处理；
- 调试技巧：对单列运行 df['X'].str.contains(r'\.', na=False) 快速验证小数点覆盖率；
- 更优实践：优先使用 pd.to_numeric(..., errors='coerce') 处理纯数字列，它比正则更高效且自动处理常见异常格式。
总结：apply() 返回 NaN 往往是“数据未达预期”而非“代码有误”。始终以 df['col'].sample(10).tolist() 或 df['col'].str[:50] 检查原始数据形态，再设计匹配逻辑——正则是工具，数据才是真相的源头。
