可通过正则表达式精准清除乱码：一、匹配删除unicode无效与私有区字符；二、清除utf-8损坏字节序列；三、按unicode类别排除控制符等；四、白名单式保留指定语言字符。
如果文本中出现了无法识别的字符或乱码，例如、、等替换符号，或非Unicode标准范围内的控制字符、私有区符号、未定义码点等，可通过正则表达式精准定位并清除。以下是几种可行的清除方法：
一、匹配并删除Unicode无效与私有区字符
该方法基于Unicode标准，排除合法文字范围（如常见汉字、英文字母、数字、标点），仅保留基本多语言平面（BMP）中广泛支持的字符，同时剔除U+FFFE、U+FFFF、代理对高位/低位、私有使用区（U+E000–U+F8FF、U+F900–U+FAD9等）及控制字符（U+0000–U+001F、U+007F–U+009F）。
1、使用正则表达式 [^\u0020-\u007E\u00A0-\u00FF\u4E00-\u9FFF\u3400-\u4DBF\u3000-\u303F\u3040-\u309F\u30A0-\u30FF\uFF00-\uFFEF] 匹配所有非预期字符。
2、在Python中调用 re.sub()：执行 re.sub(r'[^\u0020-\u007E\u00A0-\u00FF\u4E00-\u9FFF\u3400-\u4DBF\u3000-\u303F\u3040-\u309F\u30A0-\u30FF\uFF00-\uFFEF]', '', text)。
3、在JavaScript中使用 text.replace(/[^\u0020-\u007E\u00A0-\u00FF\u4E00-\u9FFF\u3400-\u4DBF\u3000-\u303F\u3040-\u309F\u30A0-\u30FF\uFF00-\uFFEF]/g, '')。
二、清除UTF-8编码损坏产生的字节序列
当原始文本被错误解码（如将UTF-8字节流以ISO-8859-1读取），会生成形如 \xC3\xA9 解析失败后的孤立高位字节（如 或类似 \x80\x81 类片段）。此类乱码常表现为单个U+FFFD REPLACEMENT CHARACTER，或连续出现的不可见控制符组合。
1、匹配U+FFFD替换符及其相邻异常组合：正则为 [\uFFFD]+|[\x00-\x08\x0B\x0C\x0E-\x1F\x7F-\x9F]。
2、在Python中执行 re.sub(r'[\uFFFD]+|[\x00-\x08\x0B\x0C\x0E-\x1F\x7F-\x9F]', '', text)。
3、若需保留换行与制表符，可将正则微调为 [\uFFFD]+|[\x00-\x08\x0E-\x1F\x7F-\x9F]（显式排除 \x09 \x0A \x0D）。
三、按字符类别排除C0/C1控制符与非图形字符
利用Unicode通用类别（General Category）匹配方式，在支持PCRE或Python regex 模块（非内置 re）的环境中，可直接排除控制字符（Cc）、格式字符（Cf）、未分配字符（Cn）、私有字符（Co）及代理项（Cs）。
1、启用Unicode属性匹配，使用正则 [\p{Cc}\p{Cf}\p{Cs}\p{Co}\p{Cn}]+（注意：Python内置 re 不支持 \p{}，需改用 regex 第三方库）。
2、安装并导入：运行 pip install regex，然后代码中使用 import regex; regex.sub(r'[\p{Cc}\p{Cf}\p{Cs}\p{Co}\p{Cn}]+', '', text)。
3、在支持PCRE的工具（如Notepad++、Sublime Text）中，启用“匹配Unicode属性”选项后，直接搜索 \p{C} 并替换为空。
四、保留指定语言字符集，其余一律清除
当明确文本应仅含某几种语言（如简体中文+英文+数字+常用标点），可构造白名单式正则，避免误删正常内容，同时彻底排除其他所有字符。
1、构建白名单正则：包含ASCII可打印字符、全角ASCII对应符号、GB2312常用汉字、中文标点、日文平假名/片假名（如需）——示例为 [a-zA-Z0-9\s\u0021-\u007E\u3000-\u303F\u3040-\u309F\u30A0-\u30FF\u4E00-\u9FFF\u3400-\u4DBF]。
2、执行反向清除：先用该正则提取所有合法字符，再拼接成新字符串；或用否定逻辑：匹配非白名单字符，即 [^a-zA-Z0-9\s\u0021-\u007E\u3000-\u303F\u3040-\u309F\u30A0-\u30FF\u4E00-\u9FFF\u3400-\u4DBF]。
3、在sed命令中使用UTF-8环境：执行 sed -E 's/[^a-zA-Z0-9[:space:]\u0021-\u007E\u3000-\u303F\u4E00-\u9FFF]//g'（需GNU sed 4.8+ 且 locale 设置为UTF-8）。
