敏感词过滤不能只用str_replace,因其易误杀(如“青苹果”)、漏杀(缺“苹果”时仅含“苹”“果”不匹配)且性能差(1000词需1000次全量扫描);应采用trie树实现一次扫描多词匹配。

敏感词过滤为什么不能只用 str_replace
因为会误杀、漏杀,且性能差。比如关键词是 "苹果",文本里有 "苹果手机" 被替换了,但 "青苹果" 也被干掉了;反过来,如果词库有 "苹" 和 "果" 却没 "苹果",那又漏了。更麻烦的是,逐个 str_replace 扫一遍词库,1000 个词就得做 1000 次全量字符串扫描,QPS 上去就卡住。
真正靠谱的做法是预建匹配结构,让一次扫描完成所有关键词判断——Trie 树(字典树)就是干这个的。
用 PHP 写一个轻量 Trie 过滤器要注意什么
别直接抄网上“完整版 Trie 类”,多数带冗余方法、递归遍历、甚至支持模糊匹配,你只需要「前缀匹配 + 最短/最长命中」就够了。核心就三步:建树、插入词、搜索命中。
-
insert()时统一转小写(或按需保留大小写),避免"VIP"和"vip"被当成两个词 - 叶子节点存
is_end => true和可选的word => "原词",方便后续替换时还原原貌 - 搜索时用双指针:外层遍历文本位置
$i,内层从$i开始沿 Trie 走,一旦碰到is_end就记录,然后跳出内层继续$i+1——这是「最短匹配」;若要「最长匹配」,则内层走到不能走为止,取最后那个is_end
示例片段(非完整类):
立即学习“PHP免费学习笔记(深入)”;
$root = ['children' => [], 'is_end' => false];
function insert($root, $word) {
$node = &$root;
for ($i = 0; $i < strlen($word); $i++) {
$char = $word[$i];
if (!isset($node['children'][$char])) {
$node['children'][$char] = ['children' => [], 'is_end' => false];
}
$node = &$node['children'][$char];
}
$node['is_end'] = true;
$node['word'] = $word; // 可选
}
实际部署时词库加载和缓存怎么搞
每次请求都 file_get_contents('keywords.json') + json_decode + 构建 Trie?太慢。PHP-FPM 下每个 worker 进程都要重复一遍,内存还浪费。
- 用
apcu_store()缓存构建好的$trie_root数组,key 可设为"sensitive_trie_v2",版本号随词库更新而变 - 首次加载失败(如 APCu 关闭)就退回到文件 +
opcache_compile_file()预编译的静态数组(把词库转成 PHP 数组代码,include进来) - 避免在 CLI 或测试环境误用 APCu 缓存(它默认不共享),加个
if (php_sapi_name() !== 'cli')判断
错误现象:APCu is not enabled 导致过滤器每次重建,CPU 突增;或者缓存 key 写成硬编码 "trie",换词库后不生效。
替换策略和边界情况怎么处理
不是所有场景都适合直接替换成 ***。用户发的是 "微信支付",你只屏蔽 "微信",结果变成 "***支付",语义全毁。所以得区分「整词匹配」和「子串匹配」。
- 建 Trie 时对每个词加标记:
'type' => 'full'或'type' => 'partial',搜索时按需判断是否要求前后为非字母数字(用ctype_alnum()或正则/\W|^/检查边界) - 替换时优先用原词长度生成
*(str_repeat('*', mb_strlen($word))),别硬写'***',否则中英文混排错位 - 注意 UTF-8 多字节问题:
strlen()会把中文算成 3 字节,必须用mb_strlen($word, 'UTF-8'),否则 Trie 走不到底
容易被忽略的是:用户输入含零宽空格(\xe2\x80\x8b)、全角标点、甚至 emoji,这些字符进 Trie 前得先 normalize,否则永远匹配不上。











