如何在Flask和YOLOv5开发的HTML网页上成功打开摄像头并显示检测框？

后端使用Flask框架，定义两个主要路由：

万兴爱画

万兴爱画AI绘画生成工具

下载

1. /image_data: 接收前端发送的图像数据，将其保存到服务器临时文件。
2. /img_feed: 处理图像，使用YOLOv5进行目标检测，并将检测结果图像返回给前端。

import cv2
import time
import io
import base64
from flask import Flask, request, Response, render_template
from PIL import Image

app = Flask(__name__)

#  ... (YOLOv5 模型加载代码，假设名为 'd') ...

def gen(path):
    cap = cv2.VideoCapture(path)
    while cap.isOpened():
        try:
            start_time = time.time()
            success, frame = cap.read()
            if success:
                im, label, c = d.detect(frame) # 调用YOLOv5检测函数
                ret, jpeg = cv2.imencode('.png', im)
                if ret:
                    frame = jpeg.tobytes()
                    elapsed_time = time.time() - start_time
                    print(f"Frame processing time: {elapsed_time:.3f} seconds")
                    yield (b'--frame\r\n'
                           b'Content-Type: image/png\r\n\r\n' + frame + b'\r\n\r\n')
                else:
                    break
            else:
                break
        except Exception as e:
            print(e)
            continue
    cap.release()

@app.route('/img_feed')
def img_feed():
    f = request.args.get("id")
    return Response(gen(f'upload/temp{f}.png'), mimetype='multipart/x-mixed-replace; boundary=frame')

@app.route('/image_data', methods=["POST"])
def image_data():
    image_data = request.form.get('image_data')
    id = request.form.get('id')
    image_data = io.BytesIO(base64.b64decode(image_data.split(',')[1]))
    img = Image.open(image_data)
    img.save(f'upload/temp{id}.png')
    return "ok"

if __name__ == '__main__':
    app.run(debug=True)

问题排查与解决方案

1. 摄像头权限: 确保浏览器允许网页访问摄像头。
2. cv2.VideoCapture 参数: cv2.VideoCapture(0) 通常用于访问默认摄像头。 如果使用其他摄像头，需要更改参数。 对于视频文件，需要提供正确的文件路径。
3. YOLOv5 模型路径: 确保YOLOv5模型正确加载，并且路径设置正确。
4. 错误信息: 仔细检查控制台的错误信息，例如网络错误、模型加载错误等。
5. 文件路径: 使用绝对路径来避免文件路径问题。
6. 后端接口调用: 确认前端代码正确调用 /img_feed 接口来获取检测结果。

通过仔细检查代码、配置和错误信息，并参考以上解决方案，可以有效解决摄像头无法打开或检测框无法显示的问题，从而成功构建一个基于Flask和YOLOv5的网页实时目标检测应用。 记得安装必要的库：opencv-python, flask, Pillow, torch (以及YOLOv5相关的依赖)。