【AI达人特训营第三期】基于PPYOLOE+的烟头检测（安卓端部署）

2.准备阶段

2.1.数据集下载

在这里不是用的aistdio的数据集，而是在robofoow中找的数据集。

首先进行roboflow模块的安装，然后在此模块下面通过下面代码下载烟头检测数据集，并且是coco数据集

我也将该数据集公开到了aistdio上了，如果下载慢，可以在aistdio上解压缩。

!pip install roboflowfrom roboflow import Roboflow
rf = Roboflow(api_key="qaYkica7XWv9gMJoaLod") #api密钥project = rf.workspace("cigarette").project("cigarrette_detection") #烟头数据集dataset = project.version(30).download("coco") #coco形式

2.2.数据集处理

数据中的训练集json文件和验证集json文件都在图片当中，如果不删除会进行报错，我们需要将它们移动到上一级路径中。测试集的图片也将它移至上一级。

! mv /home/aistudio/Cigarrette_Detection-30/train/_annotations.coco.json /home/aistudio/Cigarrette_Detection-30/_annotations_train.json#移动训练集json文件移动代码! mv /home/aistudio/Cigarrette_Detection-30/valid/_annotations.coco.json /home/aistudio/Cigarrette_Detection-30/_annotations_valid.json#移动验证集json文件移动代码! mv /home/aistudio/Cigarrette_Detection-30/test/_annotations.coco.json /home/aistudio/Cigarrette_Detection-30/_annotations_test.json#移动测试集中json文件

由下面图片尺寸都是以下三种尺寸，并且都是较大的图片所以下面模型选择输入尺寸为640的好一些。有的输入尺寸为320的，如果使用320的输入尺寸那烟头更小，更不好检测。

import osfrom PIL import Imageimport matplotlib.pyplot as pltimport seaborn as sns
basepath=r'/home/aistudio/Cigarrette_Detection-30/train'picture=os.listdir(basepath)if '.ipynb_checkpoints' in picture:
    picture.remove('.ipynb_checkpoints')
dict1={}for i in picture:
    img=Image.open(os.path.join(basepath,i))
    list1=[img.width,img.height]
    dict1[str(list1)]=dict1.get(str(list1),0)+1plt.figure(figsize=(10,4),dpi=80)
plt.bar(dict1.keys(),dict1.values())
plt.show()

由下面代码可知该训练集小目标较多，不过为了模型的鲁棒性，以及后面的训练map值比较还是选择了PP_YOLOE+。

import osimport jsonimport matplotlib.pyplot as pltwith open(r'/home/aistudio/Cigarrette_Detection-30/_annotations_train.json','r',encoding='utf-8') as f :
    jsons=json.load(f)
pictures=jsons['images']
features=jsons['annotations']
picture_area=[];feature_area=[];x=[]for i in pictures:
    picture_area.append(i['height']*i['width'])for i in features:
    feature_area.append(i['area'])
list1=[];list2=[]for i in range(len(picture_area)):    if round(feature_area[i]/picture_area[i],2) not in list1:
        list1.append(round(feature_area[i]/picture_area[i],3))
        list2.append(1)    else:
        list2[list1.index(round(feature_area[i]/picture_area[i],2))]+=1print(sorted(dict(zip(list1,list2)).items(),key=lambda x:x[1],reverse=True)[:5])

[(0.01, 466), (0.02, 277), (0.03, 82), (0.04, 23), (0.016, 1)]

2.3.PadddleDetection2.6

2.3.1.PaddleDtection2.6 下载解压缩

在刚开始我用的是aistdio自带的paddledetection2.6但是里面模型很少，所以在git上复制更好一些。

!git clone https://gitee.com/PaddlePaddle/PaddleDetection.git #从gitee上下载速度会快一些

2.3.2.依赖包安装

requirements.txt进行安装

安装requeirement.txt的包时需要进行完整路径，这个需要注意。

! pip install -r /home/aistudio/PaddleDetection/requirements.txt

安装pycocotools，安装这个包才可以使用coco数据集

! pip install pycocotools

2.4.调节pp-yoloe_x超参数

项目中选用的是pp-yoloe_X模型，所以要对PaddleDetection/configs/ppyoloe/ppyoloe_plus_crn_x_80e_coco.yml进行修改参数

在../datasets/coco_detection.yml换取自己的各类数据集

Songdio

AI音乐创作，让音乐制作变得简单有趣，每个人都能成为音乐大师

下载

在./base/optimizer_80e.yml中改一下学习率

3.训练阶段

通过本步骤可以将选择好修改后的超参数的模型进行训练了，-c是使用哪一个模型的配置文件，--use_vdl就是是否用可视化。--vdl_log_dir是将可视化保存到哪个文件中 只有保存文件了才可以进行可视化。        

其他参数不懂的可以通过百度飞桨的官方文档进行查阅，里面有详尽的参数讲解。

各种参数查询

import pycocotoolsimport paddle


! python /home/aistudio/PaddleDetection/tools/train.py \
                        -c /home/aistudio/PaddleDetection/configs/ppyoloe/ppyoloe_plus_crn_x_80e_coco.yml \
                        --use_vdl=true \
                        --vdl_log_dir=vdl_dir/scalar4 \
                        --eval \

由于一些原因yoloe中间断了训练 所以只保留了一部分，绿色线是yoloe_sod，蓝色线是yoloe_x,根据map值，yoloe_x表现好一些        

4.评估阶段

这里就是-c就指定的模型文件，-o就是配置文件的权重（训练好的模型权重）

! python /home/aistudio/PaddleDetection/tools/eval.py \
         -c /home/aistudio/PaddleDetection/configs/ppyoloe/ppyoloe_plus_crn_x_80e_coco.yml \
         -o weights=/home/aistudio/output/ppyoloe_plus_crn_x_80e_coco/best_model.pdparams   #-o设置或更改配置文件里的参数内容

5.预测阶段

在评测时，可以预测一个图片，也可以预测一个文件夹（多图片的文件夹,想了解参数是什么意思可以通过上面的参数查询找到详解的信息！

! python /home/aistudio/PaddleDetection/tools/infer.py \
                     -c /home/aistudio/PaddleDetection/configs/ppyoloe/ppyoloe_plus_crn_x_80e_coco.yml \
                    --infer_dir=/home/aistudio/Cigarrette_Detection-30/test \
                    --output_dir=infer_output/ \
                    --draw_threshold=0.5 \
                    -o weights=/home/aistudio/output/ppyoloe_plus_crn_x_80e_coco/best_model.pdparams  \

5.预测效果

通过几张图看看效果~        

6.部署安卓端

6.1.首先安装PaddleLite

安装paddlelite可以将训练好的模型转换为inference模型。

!pip install paddlelite==2.9.0

6.2.使用paddle_lite_opt完成预训练模型到inference模型

只要有了inference模型才可以转化为移动端需要的nb文件。所以这一步必不可少。

! python /home/aistudio/PaddleDetection/tools/export_model.py \
            -c /home/aistudio/PaddleDetection/configs/ppyoloe/ppyoloe_plus_crn_x_80e_coco.yml \
            -o weights=/home/aistudio/output/ppyoloe_plus_crn_x_80e_coco/best_model.pdparams

'''
      --model_dir: 指定模型文件夹位置
      --valid_targets: 指定模型可执行的 backend，默认为arm
      --optimize_out: 优化模型的输出路径
'''! paddle_lite_opt \
      --model_dir=/home/aistudio/output_inference/ppyoloe_plus_crn_x_80e_coco \
      --valid_targets=arm \
      --optimize_out=model

Loading topology data from /home/aistudio/output_inference/ppyoloe_plus_crn_x_80e_coco/model.pdmodel
Loading params data from /home/aistudio/output_inference/ppyoloe_plus_crn_x_80e_coco/model.pdiparams
1. Model is successfully loaded!
2. Model is optimized and saved into model.nb successfully

当出现以上输出，就是转换成功了！

6.3.下载官方demo

https://github.com/PaddlePaddle/Paddle-Lite-Demo/tree/master/PaddleLite-android-demo/image_classification_demo

1.只需用到object-detection-demo

2.解压后用Android studio打开即可。

打开后需要更新gradle，如下图

6.4.连接手机

连接手机需要下载adb工具。

连接成功了就是如上图

6.5.改变demo里面的modoel，image，labels

这三个参数都是在下图中

model就是先新建一个文件夹然后放入对应上面转变的nb文件(这里必须是model.nb不能是其他名字)，image就是预测图片，labels是标签，是以txt的形式

当以上操作全部完成时，点运行，然后会弹一个软件给你的手机，接收就行了。

6.6.失误！

当在做的时候没有考虑到yoloe的大小，它不是一个轻量型模型，因此手机并不可以带动这个

如果想要部署到安卓端，以上步骤即可部署，只需换一个轻量级模型即可！希望大家在部署安卓端时要考虑是否是一个轻量级模型。

6.7.成功部署到安卓端

花费了一些时间又训练了picodet轻量级模型，然后还是通过以上步骤进行了部署成功部署到了安卓端。如果大家想要部署到安卓端，我也将模型的nb文件放到了该项目里，可以自行下载！虽然picidet的精度低了一些，但是不影响检测的效果！