javascript可通过正则清洗文本、分词及统计词频实现基础nlp，结合compromise等库可完成实体识别，适合前端轻量处理。
JavaScript虽然不是自然语言处理（NLP）的主流语言，但在前端或轻量级应用中，依然可以完成一些基本的NLP操作。借助现代浏览器支持和第三方库，你可以实现文本清洗、分词、关键词提取等常见任务。
文本预处理：清洗与标准化
在进行任何NLP操作前，先对原始文本做清洗是关键一步。常见操作包括去除标点、转为小写、去除多余空格等。
- 使用正则表达式清理非字母字符
- 将文本统一转换为小写，避免大小写干扰
- 去除多余的空白和换行符
示例代码：
PHP高级开发技巧与范例
下载
PHP是一种功能强大的网络程序设计语言，而且易学易用，移植性和可扩展性也都非常优秀，本书将为读者详细介绍PHP编程。 全书分为预备篇、开始篇和加速篇三大部分，共9章。预备篇主要介绍一些学习PHP语言的预备知识以及PHP运行平台的架设；开始篇则较为详细地向读者介绍PKP语言的基本语法和常用函数，以及用PHP如何对MySQL数据库进行操作；加速篇则通过对典型实例的介绍来使读者全面掌握PHP。 本书
function cleanText(text) {
return text
.toLowerCase()
.replace(/[^\w\s]/g, '') // 去除标点
.trim()
.split(/\s+/).join(' '); // 合并多个空格
}
// 使用示例
const raw = "Hello, how are you? I'm fine!";
console.log(cleanText(raw)); // "hello how are you im fine"
分词（Tokenization）
将句子拆分为单词或标记是NLP的基础步骤。JavaScript可以通过字符串方法快速实现简单分词。
立即学习“Java免费学习笔记（深入）”；
- 使用 split(' ') 按空格分割
- 结合正则更精确地切分词语
- 可进一步过滤停用词（如“the”、“is”）
示例代码：
function tokenize(text) {
const stopWords = new Set(['a', 'an', 'and', 'the', 'is', 'in', 'on']);
return text.split(' ').filter(word => word && !stopWords.has(word));
}
// 使用示例
console.log(tokenize("the quick brown fox is running"));
// ["quick", "brown", "fox", "running"]
词频统计与关键词提取
通过统计每个词出现的次数，可以识别文本中的关键词。这在摘要生成或标签推荐中有用。
- 遍历词列表，用对象记录词频
- 按频率排序，取前N个作为关键词
示例代码：
function getWordFrequency(tokens) {
const freq = {};
tokens.forEach(word => {
freq[word] = (freq[word] || 0) + 1;
});
return Object.entries(freq)
.sort((a, b) => b[1] - a[1])
.map(entry => ({ word: entry[0], count: entry[1] }));
}
// 使用示例
const tokens = tokenize("machine learning is great machine learning is fun");
console.log(getWordFrequency(tokens));
// [{word: "machine", count: 2}, {word: "learning", count: 2}, ...]
使用NLP库扩展能力
对于更复杂的任务（如词性标注、命名实体识别），可以引入专门的JavaScript NLP库。
- Compromise：轻量级，适合浏览器环境，支持分词、词形还原、句法分析
- Natural：Node.js常用库，提供分类、词干提取等功能
- TensorFlow.js：运行预训练模型，实现情感分析、文本分类等深度学习任务
Compromise 示例：
import nlp from 'compromise';
<p>const doc = nlp("John bought a new laptop in New York.");
console.log(doc.people().out()); // ["John"]
console.log(doc.places().out()); // ["New York"]
console.log(doc.verbs().out()); // ["bought"]
基本上就这些。JavaScript做基础NLP操作完全可行，尤其适合在网页中实时处理用户输入。复杂任务建议结合后端或调用API，但前端预处理能显著提升整体效率。
