本文围绕牛只图像分割竞赛展开，介绍赛题背景、任务及数据情况，包括训练集和A、B榜测试集，标注文件为COCO格式的json。还阐述了数据处理、环境准备、数据集划分与定义，以及使用Mask RCNN模型训练和预测的过程，经80个epoch训练提交结果约0.2。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
一、智慧农业赛题——牛只图像分割竞赛
比赛地址：https://www.dcic-china.com/competitions/10021
参考geoyee大佬： https://aistudio.baidu.com/aistudio/projectdetail/3452878
1.赛题简介
赛题名称： 牛只图像分割竞赛
出题单位： 深圳喜为智慧科技有限公司
赛题背景： 牛只图像分割是智慧畜牧中的重要一环，既实现牛只的智能个体识别，还能掌握牛在养殖过程中的生长状况。本赛题旨在用人工智能为畜牧养殖赋能，使用机器代替饲养员对牛只进行个体识别，节约人力成本，同时快速获取牛只的体格信息数据，作为后续牛只体型评价、健康评价等的重要参考依据。
赛题任务： 本赛题以牛只实例分割图像数据作为训练样本，参赛选手需基于训练样本构建模型，对提供的测试集中的牛只图像进行实例分割检测。任务方法不局限于实例分割等方案，训练数据集不局限于提供的数据，可以加入公开的数据集。
2.数据简介
- 此次比赛分为A榜和B榜两个评测集，以及提供200张带标注信息的训练数据，每张训练数据都是包含一个场景下多只牛的图像，并对当前场景中的牛只进行了标注；
- A. A榜提供的测试集：100张标注图像；
- B. B榜提供的测试集：100张标注图像；
3.数据说明
本次比赛标注文件中的类别为1类，为牛只,标注的文件格式为json格式，内容格式参照coco数据集标注格式。一个数据集对应一个图片文件夹一个json文件，json文件格式和A榜B榜json文件格式相同，内容格式具体如下：
1、“image”图片描述信息，包含多张图片的id与图片类型、名称信息。
“image”:[
{“id”: int,#图片id编号“_id”: str，#图片_id编号“file_name”: str，#图片路径或名称“height”: int,#图片高度“width”: int, #图片宽度“type”: “jpg”#图片类型}，{…},{…}
]2、“categories”类别描述信息，包含类别名称和类别id，该数据集仅为一类，为牛只。
“categories”: [
{
“supercategory”: “object”,#父类别“name”: “cow”,#类别名称“id”: 1 #类别对应id}
]3、“annotations”标注描述信息，包含标注对应的图片标识id,标注的坐标信息等。
“annotations”:[
{
“_id”:str,#对应图片_id编号“id”:int,#目标标号“image_id”:int,#对应图片id编号“iscrowd”:int,#固定值0“bbox”:list,#目标定位框[x,y,w,h]“area”:float,#目标面积“segmentation”:list,#实例分割坐标[x1,y1,x2,y2,…]“category_id”:int#类别标识id}，{…},{…}
]4.提交示例
参赛者通过提供的测试数据集图片得出具体的实例分割坐标，提交格式为json文本，utf-8编码，整体为一个数组格式，参考coco的实例分割的输出格式。
[{“image_id”:“images/611e27ff656be64fad34087f.png”,
“category_id”:18,“segmentation”:{“size”:[2560,1440],“counts”:“xxx”},“score”:0.236},{…},…]二、数据处理
主要是解压缩并查看数据
In [ ]
!unzip -qoa data/data127515/train_dataset.zip -d train
In [ ]
!unzip -qoa data/data127515/test_dataset_A.zip -d test
In [ ]
from PIL import Image
img=Image.open('train/200/images/60ac8ef2b7f3a3763b8340af.jpg')
img<PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=2560x1440 at 0x7FF3B6835DD0>
三、环境准备
建议使用PaddleX，虽然都是COCO格式的json，但是实际上PaddleDetection的COCO的格式要求更严格，而PaddleX的COCO格式相对来说没那么严格，不用再进行数据处理。
In [ ]
!pip install paddlex
四、数据集处理
1.数据集划分
按照 8:2划分train和eval
In [ ]
!mv train/200/data.json train/200/annotations.json
In [ ]
!paddlex --split_dataset --format COCO --dataset_dir train/200 --val_value 0.2
In [ ]
!ls train/200
annotations.json images train.json val.json
2.统计mean和std
In [ ]
# 统计mean和stdimport osimport cv2import numpy as npfrom tqdm import tqdm
img_list_1440 = []
img_list_576 = []
means = np.zeros(3)
stdevs = np.zeros(3)
imgs_path = "train/200/images"imgs_name = os.listdir(imgs_path)for idx, name in tqdm(enumerate(imgs_name)): if name == ".ipynb_checkpoints": continue
img = cv2.cvtColor(cv2.imread(os.path.join(imgs_path, name)), cv2.COLOR_BGR2RGB)
img = img[:, :, :, np.newaxis] if img.shape[0] == 1440:
img_list_1440.append(img) else:
img_list_576.append(img)for img_list in [img_list_1440, img_list_576]:
imgs = np.concatenate(img_list, axis=-1)
imgs = imgs.astype(np.float32) / 255.
for i in tqdm(range(3)):
pixels = imgs[:, :, i, :].ravel()
means[i] += float(np.mean(pixels))
stdevs[i] += float(np.std(pixels))print(means / 2, stdevs / 2)3.定义数据集
In [1]
# 准备数据集import paddlex as pdxfrom paddlex import transforms as T
train_transforms = T.Compose([
T.MixupImage(mixup_epoch=-1),
T.RandomDistort(),
T.RandomExpand(im_padding_value=[123.675, 116.28, 103.53]),
T.RandomCrop(),
T.RandomHorizontalFlip(),
T.BatchRandomResize(
target_sizes=[320, 352, 384, 416, 448, 480, 512, 544, 576, 608],
interp="RANDOM"),
T.Normalize(
mean=[0.46157165, 0.46698335, 0.46580717], std=[0.28069802, 0.28096266, 0.28323689])
])
eval_transforms = T.Compose([
T.Resize(
target_size=608, interp="CUBIC"),
T.Normalize(
mean=[0.46157165, 0.46698335, 0.46580717], std=[0.28069802, 0.28096266, 0.28323689])
])
train_dataset = pdx.datasets.CocoDetection(
data_dir="train/200",
ann_file="train/200/train.json",
transforms=train_transforms,
shuffle=True)
eval_dataset = pdx.datasets.CocoDetection(
data_dir="train/200",
ann_file="train/200/val.json",
transforms=eval_transforms)五、模型训练
使用 Mask RCNN 模型，Mask RCNN沿用了Faster RCNN的思想，特征提取采用ResNet-FPN的架构，另外多加了一个Mask预测分支。集成了物体检测和实例分割两大功能，并且在性能上上也超过了Faster-RCNN。
具体可参考小度熊分隔； https://gitee.com/paddlepaddle/PaddleX/blob/release/2.1/tutorials/train/instance_segmentation/mask_rcnn_r50_fpn.py
1.PaddleX模型
| 模型 | 模型大小 | 预测时间(毫秒) | BoxAP (%) | MaskAP (%) |
|---|---|---|---|---|
| MaskRCNN-ResNet18-FPN | 189.1MB | - | 33.6 | 30.5 |
| MaskRCNN-ResNet50 | 143.9MB | 159.527 | 38.2 | 33.4 |
| MaskRCNN-ResNet50-FPN | 177.7MB | 83.567 | 38.7 | 34.7 |
| MaskRCNN-ResNet50_vd-FPN | 177.7MB | 97.929 | 39.8 | 35.4 |
| MaskRCNN-ResNet101-FPN | 253.6MB | 97.929 | 39.5 | 35.2 |
| MaskRCNN-ResNet101_vd-FPN | 253.7MB | 97.647 | 41.4 | 36.8 |
| MaskRCNN-HRNet_W18-FPN | 120.7MB | - | 38.7 | 34.7 |
2.PaddleDetection模型
| 骨架网络 | 网络类型 | 每张GPU图片个数 | 学习率策略 | 推理时间(fps) | Box AP | Mask AP | 下载 | 配置文件 |
|---|---|---|---|---|---|---|---|---|
| ResNet50 | Mask | 1 | 1x | ---- | 37.4 | 32.8 | 下载链接 | 配置文件 |
| ResNet50 | Mask | 1 | 2x | ---- | 39.7 | 34.5 | 下载链接 | 配置文件 |
| ResNet50-FPN | Mask | 1 | 1x | ---- | 39.2 | 35.6 | 下载链接 | 配置文件 |
| ResNet50-FPN | Mask | 1 | 2x | ---- | 40.5 | 36.7 | 下载链接 | 配置文件 |
| ResNet50-vd-FPN | Mask | 1 | 1x | ---- | 40.3 | 36.4 | 下载链接 | 配置文件 |
| ResNet50-vd-FPN | Mask | 1 | 2x | ---- | 41.4 | 37.5 | 下载链接 | 配置文件 |
| ResNet101-FPN | Mask | 1 | 1x | ---- | 40.6 | 36.6 | 下载链接 | 配置文件 |
| ResNet101-vd-FPN | Mask | 1 | 1x | ---- | 42.4 | 38.1 | 下载链接 | 配置文件 |
| ResNeXt101-vd-FPN | Mask | 1 | 1x | ---- | 44.0 | 39.5 | 下载链接 | 配置文件 |
| ResNeXt101-vd-FPN | Mask | 1 | 2x | ---- | 44.6 | 39.8 | 下载链接 | 配置文件 |
| ResNet50-vd-SSLDv2-FPN | Mask | 1 | 1x | ---- | 42.0 | 38.2 | 下载链接 | 配置文件 |
| ResNet50-vd-SSLDv2-FPN | Mask | 1 | 2x | ---- | 42.7 | 38.9 | 下载链接 | 配置文件 |
3.模型训练
采取ResNet50_vd作为Backbone，开始训练，训练较为耗时。
In [2]
import numpy as npimport paddlex as pdxfrom paddlex import transforms as T# 初始化模型并进行训练num_classes = len(train_dataset.labels)
model = pdx.det.MaskRCNN(
num_classes=num_classes,
backbone="ResNet50_vd")
model.train(
num_epochs=200,
train_dataset=train_dataset,
train_batch_size=20,
eval_dataset=eval_dataset,
pretrain_weights="COCO",
learning_rate=0.005 / 12,
warmup_steps=500,
warmup_start_lr=0.0,
save_interval_epochs=5,
lr_decay_epochs=[85, 135],
save_dir="output/maskrcnn_r50vd",
use_vdl=True)4.预测并提交
In [ ]
# 预测import osimport os.path as ospimport jsonimport numpy as npimport paddlex as pdxfrom tqdm import tqdmfrom pycocotools import mask as maskUtilsdef binary_mask_to_rle(binary_mask):
binary_mask = np.asfortranarray(binary_mask)
rle = maskUtils.encode(binary_mask)
rle["counts"] = str(rle["counts"], encoding="utf-8") return rle
model = pdx.load_model("output/maskrcnn_r50vd/best_model")
test_path = "test/images/"test_name = os.listdir(test_path)
res_json = []for name in tqdm(test_name):
path = osp.join(test_path, name) if path.split(".")[-1] != "png": continue
result = model.predict(path) for res in result: # print(res)
# print(50*'*')
res_json.append({ "image_id": osp.join("images", name), "category_id": 1, "segmentation": binary_mask_to_rle(res["mask"]), "score": res["score"]
}) # pdx.det.visualize(image_name, result, threshold=0.5, save_dir="./output_picture/maskrcnn_r50vd")with open("test.json", "w", encoding="utf-8") as f:
json.dump(res_json, f)经过80个epoch训练提交结果为0.2左右
