清洗应先确认必要性，再精准处理结构破坏内容；用dtypes和sample检查数据形态，repr暴露隐藏字符；str.extract比replace更安全；嵌套json优先用ast.literal_eval；缺失值需按语义填充。
清洗前先确认数据是否真的需要清洗
很多新手一拿到爬虫结果就急着写 dropna()、str.replace()，结果把有效空格、分隔符、嵌套 JSON 字段全干掉了。真正要清洗的，是那些破坏结构一致性的内容：比如 "¥1,299.00" 里的逗号和符号，"2024-03-15\xa0" 末尾的不可见空格，或者 "暂无数据" 这类占位字符串。
建议用 df.dtypes 和 df.sample(5).to_dict('records') 快速扫一眼字段类型和原始值形态；对文本列执行 df['price'].apply(repr) 能暴露隐藏字符。
用 str.extract() 比 str.replace() 更安全地提取数值
直接用 str.replace(r'[^0-9.]', '') 处理价格字段，会把 "1.2万" 变成 "1.2"（漏掉单位换算），也可能把 "2024.03.15" 误当成数字。更稳的做法是用正则精准捕获目标模式。
-
df['price'].str.extract(r'(\d+(?:\.\d+)?)\s*(?:元|¥)?')提取带小数的价格数字 -
df['sales'].str.extract(r'(\d+(?:,\d+)*)\s*万')提取“万”为单位的销量，并配合.str.replace(',', '').astype(float) * 10000转为整数 - 匹配失败时返回
NaN，比强行转类型抛ValueError更可控
处理嵌套结构：别用 json.loads() 硬解
爬到的字段里常有类似 '{"name": "iPhone", "color": "black"}' 这种 JSON 字符串，但直接 json.loads() 会因引号不规范、含 HTML 实体或缺失引号而报错 JSONDecodeError。
立即学习“Python免费学习笔记（深入）”；
更鲁棒的路径是：
- 先用
df['spec'].str.startswith('{') & df['spec'].str.endswith('}')过滤出大概率合法的行 - 用
ast.literal_eval()替代json.loads()—— 它能容忍单引号、无引号键（如{name: "iPhone"}）等常见爬虫脏数据格式 - 再用
pandas.json_normalize()展开字典，避免手写pd.json_normalize(df['spec'].apply(ast.literal_eval))时遇到None报错，应加errors='ignore'
缺失值填充要区分语义，不是一律填 0 或 fillna()
"缺货" 和 "未发布" 都可能映射为 NaN，但业务含义完全不同：前者是临时状态，后者是长期空缺。盲目用 df.fillna(0) 会让缺货商品在销量排序中排第一。
实际操作中建议：
- 对数值型字段（如
price），优先用df['price'].median()或分组中位数（如按品类）填充，避免均值被异常值拉偏 - 对状态类字段（如
stock_status），保留NaN并显式转为"unknown"，后续分析可单独过滤 - 用
df.isna().sum() / len(df)统计缺失率，超过 60% 的字段，与其费力填充，不如直接弃用
清洗不是越干净越好，而是让每条数据的含义在下游分析中依然可解释。最危险的不是 NaN，是看起来整齐、实则失真的数字。
