社交媒体文本清洗需分层过滤：先清除url、邮箱、@提及、#话题（支持中文），再压缩首尾及连续空白，保留单空格与换行；标点去冗余但保留语气和emoji；不盲目小写、删数字，重复字符留两个。
社交媒体文本噪声多、格式杂，用正则清洗不是“写个pattern就完事”，关键是分层过滤、保留语义、兼顾性能。下面几个实操性强的策略，直击常见痛点。
先剥离非文本干扰项
URL、邮箱、@提及、#话题这些结构固定，优先单独提取或清除，避免干扰后续语义处理。
- URL：用 r'https?://[^\s]+' 匹配（注意加
re.IGNORECASE覆盖 http/https） - @用户：用 r'@\w{1,15}'（限制长度防误杀，如 @1234567890123456 通常不是真实昵称）
- #话题：用 r'#\w+' ，但注意保留中文话题——改用 r'#[\w\u4e00-\u9fff]+' （加入 Unicode 中文区间）
- 邮箱：用 r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b'，加
\b防止匹配到 “abc@def.com.xyz” 中的前半段
统一空格与换行，但别一刀切
社交媒体常有连续空格、制表符、回车混用，直接 .replace(' ', '') 或 re.sub(r'\s+', ' ', text) 很危险——可能把 “今天 天气 很好” 变成 “今天天气很好”（丢失合理分词空隙）。
- 推荐：只压缩“首尾和连续空白”，用 r'^\s+|\s+$|\s{2,}' 分三步处理，或一步写成 r'(?:^\s+|\s+$|\s{2,})'
- 保留单个空格和换行符（
\n），后续再按需拆句；若要彻底扁平化，再用 r'\s+' 替换为单空格，并 strip()
智能处理标点与表情符号
标点不是全删就好，感叹号、问号带语气，省略号（… 或 ...）含语义停顿，emoji 是情绪关键信息。
立即学习“Python免费学习笔记（深入）”；
- 清理“冗余标点”：如 r'[!?.]{2,}' 替换为单个（“！！！”→“！”），但跳过 emoji 后的标点（需先标记 emoji）
- 保留 emoji：用 Unicode 范围匹配，如 r'[\U0001F600-\U0001F64F\U0001F300-\U0001F5FF\U0001F680-\U0001F6FF\U0001F1E0-\U0001F1FF]+'（覆盖常用表情），可先提取再决定保留或替换为描述词
- 中英文标点混用时（如“你好！”“hello!”），建议统一映射：将全角！？。，→ 半角，但保留引号、破折号等有结构意义的符号
轻量级去噪，不碰核心表达
别一上来就“去停用词”或“转小写”——清洗阶段目标是规范格式，不是做 NLP 建模预处理。
- 避免在清洗层做
.lower()：大小写可能承载信息（如 “iPhone” vs “IPHONE”，“US” vs “us”） - 慎删数字：价格（¥299）、年份（2024）、型号（iPhone15）都该保留；可单独提取数字字段供后续分析
- 重复字符控制：如 “啊啊啊”、“哈哈哈哈”，用 r'(.)\1{2,}' 匹配三连以上重复，替换成
r'\1\1'（留两个，既降噪又不丢失强调感）
基本上就这些。正则不是越长越强，而是越准越稳——每条 pattern 都该有明确目的、可验证边界、可逆操作空间。清洗后建议抽样检查原始/清洗对比，比跑通代码更重要。
