数据清洗是数据分析中最耗时却最关键的一步；需用df.isnull().sum()和df.info()识别缺失值，再依情况选择删除或填充等方法处理。
数据清洗是数据分析里最耗时却最关键的一步。脏数据不处理，模型再 fancy 也白搭。Python 配合 pandas、numpy 和一些小技巧，能把这事干得又快又稳。
识别并处理缺失值
缺失值不是“看不见就等于没有”，而是可能隐藏偏差的信号。先用 df.isnull().sum() 快速统计每列空值数量；再用 df.info() 看数据类型和非空计数。
- 删除法：缺失少（比如df.dropna(subset=['列名']) 删行，或 df.dropna(axis=1) 删整列
- 填充法：数值型常用均值、中位数（df['age'].fillna(df['age'].median(), inplace=True)）；类别型建议用众数或新增 “Unknown” 类别
- 进阶思路：时间序列用前向/后向填充（ffill/bfill），或用 KNN、回归模型预测填充（需 scikit-learn）
统一格式与类型转换
同一含义的数据，常因录入差异长得不一样——比如日期写成 '2023/01/01'、'2023-01-01'、'01-Jan-2023'；电话号码带括号、空格、横线；价格字段混着字符串如 '$1,299.99'。
- 日期统一：用 pd.to_datetime(df['date'], errors='coerce') 强转，失败变 NaT，便于后续排查
- 字符串清洗：用 .str.replace(r'[^\w\s]', '', regex=True) 去标点；.str.strip().str.lower() 去空格+小写
- 数字提取：对含单位的字段（如 '5.2kg', '38°C'），用 .str.extract(r'(\d+\.?\d*)') 提数字，再转 float
检测并修正异常值
异常值不等于错误，但得确认它是否合理。比如用户年龄出现 180 岁、订单金额 -¥999，大概率是录入或计算 bug。
PHP与MySQL程序设计3
下载
本书是全面讲述PHP与MySQL的经典之作，书中不但全面介绍了两种技术的核心特性，还讲解了如何高效地结合这两种技术构建健壮的数据驱动的应用程序。本书涵盖了两种技术新版本中出现的最新特性，书中大量实际的示例和深入的分析均来自于作者在这方面多年的专业经验，可用于解决开发者在实际中所面临的各种挑战。 本书内容全面深入，适合各层次PHP和MySQL开发人员阅读，既是优秀的学习教程，也可用作参考手册。
立即学习“Python免费学习笔记（深入）”；
- 基础筛查：用 df.describe() 看四分位和极值；画箱线图（sns.boxplot(x=df['price'])）直观定位
- 数值型判断：IQR 法更稳健——计算 Q1、Q3，定义上下界为 Q1 - 1.5×IQR 和 Q3 + 1.5×IQR，越界值可设为边界值或 NaN
- 业务逻辑校验：比如注册时间不能晚于下单时间，可用布尔索引快速标记冲突行：df[df['order_time']
去重与结构规整
重复样本会放大某些群体的权重，影响统计和建模结果；而“一表多义”（如把地址拆成多列却有空缺）会让分析逻辑混乱。
- 查重：用 df.duplicated().sum() 看总重复数；df[df.duplicated(keep=False)] 查看所有重复行
- 去重策略：默认保留首次出现（keep='first'），也可按某列排序后再去重，优先留最新记录：df.sort_values('update_time').drop_duplicates('user_id', keep='last')
- 列规整：避免“地址1”“地址2”“地址3”这种设计，用 pandas.melt() 或 pd.concat() 合并冗余列；必要时用 pd.get_dummies() 处理多选分类字段
基本上就这些。清洗不是一步到位，而是“检查→定位→修复→验证”的循环。每次操作后记得 df.shape 和 df.sample(3) 快速过一眼，防止误删或错填。不复杂但容易忽略——真正跑通一个清洗 pipeline，比写十个模型还让人踏实。
