缺失值和异常值需结合业务逻辑与数据分布处理：识别时需检查隐性缺失；填充要按列类型选择策略；异常值检测应兼顾统计与业务规则，并通过截断、分箱或专项分析等方式处理。
缺失值和异常值是数据清洗中最常见的两类问题，处理不当会直接影响分析结果的可靠性。关键不是简单删掉或填上，而是根据业务逻辑和数据分布选择合适策略。
识别缺失值：别只看 NaN
除了常见的 NaN 和 None，空字符串、占位符（如 "N/A"、"missing"、-999）也可能是隐性缺失。建议先用 df.info() 查非空计数，再用 df.isin() 或正则匹配扫描可疑值：
- 检查空字符串：
df.eq('').sum() - 查找自定义缺失标识：
df.isin(['N/A', 'NULL', 'unknown']).sum() - 对数值列检查极值是否为伪装缺失：
df['age'].describe()看最小值是否异常（如 -1、999）
填充缺失值：按列类型和业务含义选方法
数值型、分类型、时间型列的填充逻辑不同，不能一概而用均值或众数：
-
数值列：连续变量优先考虑中位数（抗异常值）或插值（如时间序列用
ffill/bfill）；离散指标（如评分）可用均值，但需结合业务判断是否合理 - 分类列：避免直接填“未知”，先确认是否可归并小类（如把低频城市合并为“其他”），再用众数填充；若缺失比例高（>30%），考虑单独建“缺失”类别参与建模
- 时间列：缺失时慎用固定值填充，可用前向/后向填充，或根据事件逻辑推断（如订单创建时间缺失，可参考同用户其他订单时间估算）
检测异常值：结合统计与业务双视角
仅用 IQR 或 Z-score 容易误杀，尤其在偏态分布或存在合理极值的场景（如电商客单价、金融交易额）。应分步处理：
立即学习“Python免费学习笔记（深入）”；
- 先做探索：
df.boxplot()或df.hist(bins=50)观察分布形态 - 对右偏数据（如收入），改用 分位数阈值（如 >99.5% 分位数）而非固定倍数 IQR
- 对有明确业务边界的字段（如年龄 0–120、状态码必须 ∈ {0,1,2}），用 规则过滤 比统计更可靠
- 保留原始异常标记列（如
is_outlier_amount = df['amount'] > df['amount'].quantile(0.995)），便于后续分析影响
处理异常值：替换、截断还是保留？
不建议无脑删除——异常值可能反映真实风险或特殊模式。常见做法有：
- 截断（Winsorization）：用上下分位数替代极端值，保留分布形状，适合建模前预处理
- 分箱+编码：将连续异常值纳入高值箱（如“≥5万元”），转为有序分类，兼顾信息与鲁棒性
- 单独建模分析：把异常样本抽出来专项分析（如高频异常订单是否集中于某渠道），可能发现新洞察
- 若确认是录入错误（如身高 300cm），可按业务规则修正（如参照同龄人平均值±2σ范围重置）
清洗不是一步到位的过程，需要反复验证：填充后检查分布是否突变，剔除后样本量是否影响统计效力，异常标记是否与业务反馈一致。留好清洗日志和原始快照，确保每一步可追溯、可复现。
