php中无原生jieba,应优先使用scws扩展:安装pecl install scws,配置词典路径,结合停用词过滤与词性筛选,手写tf-idf时需基于语料库统计df、平滑idf并归一化tf。

PHP 里没有原生 jieba,别硬套 Python 那套逻辑
PHP 本身不支持 jieba 分词,所有“PHP 调用 jieba”的方案,本质都是绕路:要么启 Python 子进程(exec()),要么用 REST 接口转发,要么找 PHP 移植版(如 php-jieba)。这些方案在生产环境容易出问题——子进程超时、编码乱码、分词结果不稳定、部署多一层依赖。
真正轻量可控的做法是放弃 jieba,改用 PHP 原生可落地的方案:
-
mb_split()+ 自定义停用词表做基础切词(适合简单场景,如标题关键词提取) - 用
scws扩展(C 实现,稳定、快、中文支持好,需服务器装扩展) - TF-IDF 计算完全可在 PHP 内完成,不需要外部模型
用 scws 提取关键词比自己写正则靠谱得多
scws 是专为中文设计的开源分词库,PHP 有官方扩展,分词准确率远高于 mb_split('/./u', $text) 这类暴力拆解。它内置词典、支持自定义词典和词性标注,还能过滤停用词。
实操要点:
立即学习“PHP免费学习笔记(深入)”;
- 安装扩展:
pecl install scws,然后在php.ini加extension=scws.so - 初始化时指定词典路径(默认路径可能不存在,必须显式设置):
$s = scws_new(); scws_set_dict($s, '/usr/local/scws/dict.utf8.xdb'); - 关键词提取不是直接调
scws_get_tops()就完事——它默认返回的是频次排序,不是 TF-IDF 排序;要加权,得自己算 IDF 或接简易语料库统计 - 注意编码:输入文本必须是 UTF-8,否则
scws_send_text()返回空
tfidf_calculate() 函数怎么写才不翻车
TF-IDF 不是魔法公式,它的效果高度依赖语料质量。PHP 里手写一个可用的版本,重点不在算法多精巧,而在避开三个坑:
- 文档频率(DF)不能只看当前文本——必须基于一个合理规模的参考语料集(比如你网站近 1000 篇文章的词频统计),否则
idf = log(N/df)中的N和df全是拍脑袋 - 不要对所有词都算 TF-IDF:先用
scws分词 + 停用词过滤(如“的”“了”“和”),再剔除单字词(除非业务明确需要),最后保留名词、动词等有效词性(scws_get_result()返回带attr字段) - TF 值建议用“词频 / 文本总词数”而非原始频次,避免长文本天然占优;IDF 建议加平滑:
idf = log((N + 1) / (df + 1)) + 1,防止未登录词权重为 0
线上服务别用 exec('python -m jieba') 做关键词提取
这个写法看起来省事,但实际会卡住你三类问题:
- 每次请求都
exec启一个 Python 进程,QPS 上不去,50 并发就可能触发系统fork失败 - Python 编码环境和 PHP 不一致:如果 PHP 用
mb_internal_encoding('UTF-8'),而 Python 脚本没设sys.stdout.reconfigure(encoding='utf-8')(或老版本没这方法),输出就是乱码 - 错误难捕获:
exec()的 stderr 默认丢弃,jieba加载失败、词典路径错、内存溢出,全变成空数组,你根本不知道哪错了
真要跨语言,不如起一个轻量 HTTP 服务(比如用 Flask 包一层 jieba),PHP 用 file_get_contents() 或 curl 调,至少超时、状态码、错误响应能看见。
关键词提取这事,越贴近数据源头(比如 CMS 发布时预计算),越稳定;越往后端推(比如用户访问时实时算),越容易暴露边界条件。











