
本文旨在解决使用face-api.js在浏览器中进行人脸识别时,无法正确区分多个已知人脸的问题。通过优化`labeledfacedescriptors`的构建方式和`facematcher`的使用逻辑,确保系统能够准确识别并标记视频流中的每一张已知人脸,并提供完整的svelte代码实现及详细解析,帮助开发者构建稳定高效的浏览器人脸识别应用。
概述
在浏览器环境中实现人脸识别,face-api.js是一个功能强大且易于使用的库。它基于TensorFlow.js,能够加载预训练模型,实现人脸检测、特征点定位、人脸描述符提取以及人脸识别等功能。然而,在处理多个人脸识别场景时,开发者常会遇到一个常见问题:系统可能只能正确识别一个人脸,或者将所有检测到的人脸都错误地标记为同一个已知身份。这通常是由于对LabeledFaceDescriptors和FaceMatcher的误用导致的。
本教程将深入探讨如何正确地配置和使用face-api.js,以确保在视频流中对多个人脸进行准确识别和标记。我们将提供一个基于Svelte框架的完整示例,并详细解释关键代码逻辑。
核心概念
在深入代码之前,我们先回顾face-api.js中的几个核心概念:
- 人脸检测模型 (SSD Mobilenetv1): 用于在图像或视频中定位人脸的位置。
- 人脸特征点模型 (FaceLandmark68Net): 用于识别人脸上的68个关键特征点,如眼睛、鼻子、嘴巴等。
- 人脸识别模型 (FaceRecognitionNet): 用于从检测到的人脸中提取高维度的特征向量(即人脸描述符),这些描述符可以用来比较不同人脸的相似度。
- 人脸描述符 (FaceDescriptor): 一个人脸的数学表示,是一个浮点数数组,能够唯一标识该人脸的特征。
- 带标签的人脸描述符 (LabeledFaceDescriptors): 一个包含特定人物姓名(标签)及其对应人脸描述符数组的对象。它是face-api.js进行已知人脸匹配的基础。
- 人脸匹配器 (FaceMatcher): 使用一组LabeledFaceDescriptors来比对新检测到的人脸描述符,并找出最匹配的已知人脸。
问题分析与解决方案
原始代码中多目标人脸识别失败的核心原因在于getLabeledFaceDescriptions函数未能为每个客户独立地创建LabeledFaceDescriptors实例。它将所有客户的人脸描述符都推送到了一个全局共享的descriptions数组中,然后为每个客户创建LabeledFaceDescriptors时,都引用了同一个(且通常是最后一个客户的)descriptions数组,这导致FaceMatcher无法正确区分不同的人脸。
正确的解决方案包括以下两点:
- 为每个已知人物独立创建LabeledFaceDescriptors:每个LabeledFaceDescriptors实例都应该包含一个人物的名称和该人物的(一个或多个)人脸描述符。
- 使用detectAllFaces和迭代匹配:在视频流中,应使用faceapi.detectAllFaces来检测所有出现的人脸,然后遍历每个检测到的人脸,并使用faceMatcher.findBestMatch进行独立匹配。
完整代码实现
以下是基于Svelte框架,并经过优化以支持多目标人脸识别的完整代码示例。










