JavaScript前端AI以推理为核心,依赖TensorFlow.js加载Web兼容模型,支持图像分类等任务;ONNX.js已归档,推荐@xenova/transformers运行Hugging Face模型;训练应在Python端完成,模型体积建议≤5MB。

JavaScript 本身不内置机器学习能力,但通过前端 AI 库可以实现轻量级模型推理、数据预处理、甚至训练(受限于浏览器性能)。真正能落地的场景是:模型已训练好、导出为 Web 兼容格式(如 TensorFlow.js 的 .json + .bin),再在浏览器中加载运行。
TensorFlow.js 是当前最成熟的选择
它支持从零训练(tf.sequential())、迁移学习(tf.loadLayersModel())、以及直接推理。模型可来自 Python 端导出(用 tensorflowjs_converter),也可用 JS 原生定义。
- 适合图像分类、姿态估计、文本嵌入、简单时序预测等任务
- GPU 加速依赖 WebGL,低端设备或 iOS Safari 可能回退到 CPU,延迟明显升高
-
tf.loadGraphModel()比tf.loadLayersModel()更快,但只支持冻结图(不能微调) - 注意内存泄漏:每次
tf.tidy()必须包裹张量操作,否则tf.memory().numTensors会持续增长
ONNX.js 已归档,别再用了
微软曾维护的 onnxjs 项目已于 2022 年正式归档(npm WARN deprecated onnxjs)。它无法支持 ONNX opset 14+,且无 WebGL 后端,纯 CPU 推理极慢。现在想跑 ONNX 模型,唯一可行路径是转成 TensorFlow.js 格式(用 onnx-tf),再用 TF.js 加载。
- 不要尝试
import { InferenceSession } from 'onnxjs' - 替代方案:用
@xenova/transformers(底层基于 WebAssembly + 自研推理引擎,支持部分 ONNX 模型)
@xenova/transformers 能开箱即用跑 Hugging Face 模型
这是目前对前端 NLP 最友好的库,封装了 tokenizer、pipeline、自动模型下载逻辑。它不依赖 TensorFlow.js,而是用 WebAssembly 运行量化后的 PyTorch 模型(.safetensors + config.json)。
立即学习“Java免费学习笔记(深入)”;
- 一行代码即可调用:
const pipeline = await pipeline('sentiment-analysis', 'Xenova/distilbert-base-uncased-finetuned-sst-2-english') - 模型自动从 Hugging Face Hub 下载并缓存在
indexedDB,第二次加载极快 - 仅支持部分模型(见其
supported_models.json),不支持自定义训练或修改结构 - 输出是标准 JS 对象,无需手动解析 tensor —— 例如情感分析返回
{ label: 'POSITIVE', score: 0.999 }
训练不是前端该干的事,推理才是合理边界
浏览器里训练一个 ResNet-50?理论上可行,实际上卡顿、耗电、用户关页就中断。真实项目中,99% 的“JS 机器学习”应理解为:前端只做数据采集(摄像头、麦克风)、预处理(归一化、resize)、模型加载与推理、结果可视化。
- 训练必须放在 Python + GPU 环境;前端只负责把原始输入(如一张
图片)转成tf.tensor3d()再喂给模型 - 模型体积是硬门槛:TF.js 模型建议控制在 5MB 以内,否则首屏加载超时风险高
- 如果需要实时性(如每秒 30 帧姿态估计),务必用
requestAnimationFrame控制推理节奏,避免阻塞主线程
最容易被忽略的一点:模型版本和库版本强耦合。比如 @tensorflow/tfjs@4.22.0 加载用 @tensorflow/tfjs-converter@3.18.0 导出的模型可能报错 Unknown layer: Dense —— 不是因为代码写错,而是 converter 版本太旧,没写入层注册信息。










