推荐用 preg_split 并开启 PREG_SPLIT_DELIM_CAPTURE 标志保留分隔符,配合 mb_stripos 精准匹配 UTF-8 敏感词,预扫描全文或使用 AC 自动机优化性能,避免跨段漏检与编码错误。

用 preg_split 分段时保留分隔符更安全
直接用 explode 切文本,遇到连续换行、中英文混排或带空格的分隔符(比如 "\n\n" 或 "。")容易漏切或错切,导致敏感词跨段残留。推荐用 preg_split 并开启 PREG_SPLIT_DELIM_CAPTURE 标志,把分隔符也捕获进结果数组,后续处理时能准确还原边界。
- 例如按中文句号、换行、两个及以上空格切分:
preg_split('/([。!?;\n]|\s{2,})/u', $text, -1, PREG_SPLIT_DELIM_CAPTURE | PREG_SPLIT_NO_EMPTY) - 这样得到的数组是
['内容1', '。', '内容2', '\n\n', '内容3'],过滤时可跳过分隔符项,只扫字符串段 - 不加
PREG_SPLIT_DELIM_CAPTURE就丢掉了标点,拼回去时可能把“机密。”和“文件”连成“机密。文件”,绕过“机密文件”关键词检测
mb_stripos 比 stripos 更可靠地匹配中文敏感词
PHP 默认的 stripos 按字节匹配,遇到 UTF-8 中文会截断字符,导致假阴性(该命中没命中)。尤其在分段后文本长度不一、含 emoji 或生僻字时风险更高。
- 必须用
mb_stripos($segment, $word, 0, 'UTF-8'),显式指定编码 - 敏感词列表本身也要确保是 UTF-8 编码,避免从数据库或配置文件读取时乱码(常见于 MySQL 连接未设
SET NAMES utf8mb4) - 若敏感词含正则元字符(如
"+"、"."),别直接丢进mb_stripos—— 它不支持通配,得先preg_quote($word, '/')再进preg_match
逐段过滤后拼接需防“跨段敏感词”漏检
有些敏感词天然横跨分隔符,比如“国家机密”被切在两段末尾和开头:“国家” + “机密”。纯逐段过滤无法发现这类情况。
- 简单补救:对每段末尾 N 个字符(如 5)和下一段开头 N 个字符拼起来再查一次,N 取最长敏感词长度
- 更稳妥的做法是预扫描全文标记所有敏感词位置,再按分段逻辑做区间映射,而不是真“分段后过滤”
- 如果业务允许延迟,建议改用流式扫描(如用
mb_substr滑动窗口),比切分再合并更准,也省去边界处理逻辑
性能差往往卡在敏感词循环里
每段都遍历全部敏感词列表,O(n×m) 复杂度,1000 段 × 500 词就 50 万次调用 mb_stripos,CPU 直接拉满。
立即学习“PHP免费学习笔记(深入)”;
- 优先用 AC 自动机(如
php-aho-corasick扩展),一次性扫描整段文本,时间复杂度接近 O(n) - 若不能装扩展,至少把敏感词按首字符哈希分组,先
mb_substr($segment, 0, 1)查对应组再遍历,减少 70%+ 无效匹配 - 注意:正则批量匹配(
preg_match_all('/词1|词2|词3/u', $segment))看似简洁,但词多时编译慢、回溯爆炸,实际比循环更慢











