chardet.detect()的confidence低于0.7不可信，因其依赖字节统计、对短文件/ASCII/混合内容不敏感，且confidence非准确率；实测0.5～0.69区间约半数导致乱码或UnicodeDecodeError。
chardet.detect() 返回的 confidence 低于 0.7 就别信
chardet 不是万能编码“判官”，它靠统计字节模式猜编码，对短文件、纯 ASCII 或混合内容极不敏感。confidence 是它自己给的置信度，不是准确率。实测中 confidence 0.5～0.69 的结果，约一半会解码出乱码或 UnicodeDecodeError。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 永远先检查
chardet.detect(data)['confidence'] >= 0.7，否则 fallback 到utf-8或gbk（中文场景） - 读文件前用
open(path, 'rb')读二进制，再喂给chardet.detect()；别直接open(..., encoding=...)后再检测 - 若文件有 BOM（如
\xef\xbb\xbf），chardet可能误判为utf-8，但实际是utf-8-sig—— 这时直接用encoding='utf-8-sig'更稳
为什么 chardet.detect_file() 经常报错或返回 None
chardet.detect_file() 是个鸡肋函数：它内部会尝试读取文件前 10KB，但不处理 IO 异常、权限问题，也不支持传入 encoding 参数控制读取方式。很多情况下它直接抛 IOError 或静默返回 None，连错误提示都不给。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 彻底弃用
chardet.detect_file()，改用手动读二进制 +chardet.detect() - 限定读取长度（如前 20000 字节），避免大文件卡住：
with open(path, 'rb') as f: raw = f.read(20000) - 加 try/except 包裹
chardet.detect()调用，防止因空文件或二进制内容崩溃
读取时用错 encoding 导致 UnicodeDecodeError: 'gbk' codec can't decode byte
这个错误不是文件真不能用 gbk，而是 Python 尝试用 gbk 解码时，在某个字节位置失败了。常见于文件实际是 gb2312、gb18030 或混有 UTF-8 BOM 的“伪 GBK”文件。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 优先试
gb18030：它是 GBK 的超集，兼容所有 GB 系编码，且 Python 原生支持，不会抛错 - 加
errors='ignore'或errors='replace'临时绕过，但仅用于调试，不能用于数据清洗 - 别依赖系统 locale 推断编码（如 Windows 默认
cp936≈gbk），不同机器环境可能不一致
Python 3.12+ 用户注意：chardet 已被 charset_normalizer 取代
chardet 自 2022 年起已停止维护，而 charset_normalizer 更快、更准、API 兼容，且默认启用多语言模型。Python 官方文档和 pip install 提示都开始倾向后者。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 新项目直接装
charset-normalizer：pip install charset-normalizer - 替换代码只需两行：
from charset_normalizer import from_path→results = from_path(path).best()→results.confidence和results.encoding - 它还支持
min_confidence参数（类似 chardet 的 confidence 阈值），且对中文检测准确率提升明显
chardet 或 charset_normalizer 返回一个看似合理、实则错到底的编码。 
