数据清洗需结合业务逻辑处理缺失值与异常值：先识别缺失性质（MCAR/MAR/业务含义），再按字段类型选择填充策略；异常值须可视化+业务规则判断，避免误删；清洗后须验证分布、相关性及模型效果。
Python数据清洗中，缺失值和异常值处理是核心环节，直接影响后续建模与分析结果的可靠性。关键不是“全删”或“硬填”，而是结合业务逻辑、数据分布和字段类型做有依据的选择。
缺失值识别与分类判断
先明确缺失的性质：是随机丢失（MCAR）、依赖其他变量（MAR），还是本身带业务含义（如“未参保”在社保字段中就是合理空值）。用 pandas.isnull() 或 .isna() 统计各列缺失比例；对高缺失率字段（如＞70%），优先检查是否应剔除或替换为类别标签。
- 数值型字段：观察缺失是否集中在某类样本（如高端客户无收入填写），可考虑按分组（如职业、地区）填充中位数
- 类别型字段：避免直接填“Unknown”，先查是否有默认值（如数据库中NULL对应“未选择”）
- 时间字段缺失：慎用前向/后向填充，可能扭曲时序逻辑；优先保留原缺失，后续建模时用标志变量（如 has_start_time = 0）显式表达
缺失值填充策略选择
填充不是目的，保持数据结构合理性才是重点。简单均值/众数填充易引入偏差，尤其在偏态分布或小样本中。
- 连续变量：用 sklearn.impute.IterativeImputer（基于回归迭代）或 KNNImputer（利用相似样本插补），比均值更稳健
- 离散变量：用 sklearn.impute.SimpleImputer(strategy='most_frequent')，但需确认众数是否真具代表性
- 高级做法：对关键字段（如用户年龄），构建预测模型（如用教育程度、城市等级预测），再填充——前提是训练集无缺失且特征可靠
异常值检测不等于粗暴删除
异常值可能是错误录入（如年龄=300），也可能是真实极端情况（如CEO年薪千万）。先可视化（箱线图、散点图），再结合业务规则判断。
立即学习“Python免费学习笔记（深入）”；
- 数值型：用 IQR（四分位距）法识别离群点，但对长尾分布（如交易金额）建议用 3σ 改进版（如取对数后计算）
- 时间序列：用 STL 分解 + 季节性残差阈值 比静态阈值更准
- 多维异常：用 Isolation Forest 或 DBSCAN，适合发现组合异常（如“低活跃度+高充值频次”用户）
处理后必须验证效果
任何清洗操作后，都要验证：分布是否突变？相关性是否失真？下游模型指标是否提升？不能只看缺失率下降。
- 对比清洗前后关键字段的直方图、描述统计（mean/std/min/max）
- 对建模任务，跑一次基线模型（如逻辑回归），比较 AUC 或准确率变化
- 保存清洗日志：记录每步操作（如“age 列用分组中位数填充，分组依据：education + city_tier”），便于复现与审计
不复杂但容易忽略的是：缺失与异常往往互相关联。比如某字段大量缺失，其非缺失子集中就容易出现异常值——清洗时要联动分析，而不是割裂处理。
