本文介绍飞桨常规赛黄斑中央凹定位11月第3名方案。赛题旨在对2D眼底图像中黄斑中央凹定位，预测其坐标，不可见则设为(0,0)。数据集含200个样本，建模为回归问题，用Resnet50vd作backbone，通过数据增强、自定义损失函数等优化，还提及代码结构、复现步骤及不足与改进思路。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
飞桨常规赛：黄斑中央凹定位（GAMMA挑战赛任务二）
1. 赛题分析
GAMMA挑战赛是由百度在MICCAI2021研讨会OMIA8上举办的国际眼科赛事。MICCAI是由国际医学图像计算和计算机辅助干预协会 (Medical Image Computing and Computer Assisted Intervention Society) 举办的跨医学影像计算和计算机辅助介入两个领域的综合性学术会议，是该领域的顶级会议。OMIA是百度在MICCAI会议上组织的眼科医学影像分析 (Ophthalmic Medical Image Analysis) 研讨会，至今已举办八届。
1.1 题目
对2D眼底图像中黄斑中央凹进行定位。
本任务的目的是预测黄斑中央凹在图像中的坐标值。若图像中黄斑中央凹不可见，坐标值设为(0, 0)，否则需预测出中央凹在图像中的坐标值。
1.2 数据分析
数据集由中国广州中山大学中山眼科中心提供，数据集中包含200个2D眼底彩照样本，分别为：训练集100个，测试集100个。
样本数虽然不多，但测试集和训练集数据一致性较好，实际训练时没有发现过拟合现象。图像分辨率大部分为2992 * 2000，少量为1956 * 1934，图片分辨率高。
中央凹标注单位为像素，精度精确到小数点后5-6位（确实不知道是否真的需要这么高的精度嘛？）。虽然说明中有说中央凹不可见时坐标值设为(0, 0)，但标注中并未发现这种情况，暂时只能认为测试集中也不存在这种情况。
2. 方案说明
2.1 建模思路
题目要求检测黄斑中央凹点，参考baseline将其建模为回归问题。
backbone选用paddleseg自带的Resnet50vd，输出为归一化的xy坐标值。
考虑到中央凹位置坐标范围有限，这里将坐标映射到[0.3, 0.7]的区间范围内再归一化到[0, 1]区间。
数据集
采用paddle.io.Dataset自定义数据集，能够方便的实现数据管理、组batch、坐标映射与恢复等功能。
class MyDataset(paddle.io.Dataset):
def __init__(self, img_folder, label_file=None, idx=None, argument=False):
'''设置图片目录、标签文件、样本编号（用于训练集和验证集划分）、数据增强等'''
img_paths = get_all_paths(img_folder, '.jpg') if idx is None:
idx = np.arange(len(img_paths))
imgs = [read_image(img_paths[i]) for i in idx] if label_file:
label_df = pd.read_excel(label_file)
label_X = label_df['Fovea_X'].values
label_Y = label_df['Fovea_Y'].values
labels = [(label_X[i], label_Y[i]) for i in idx] else:
labels = [None,]*len(idx)
datas = [(img, label) for img, label in zip(imgs, labels)]
self.datas = datas
self.argument = argument
self.color_jitter = paddle.vision.transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.1) def __getitem__(self, idx):
'''返回的param用于预测时恢复原始图像坐标'''
img, loc = self.datas[idx]
img = img.copy() if self.argument:
img, loc = self.do_arg(img, loc)
img, label, param = self.pre_process(img, loc) return img, label, param def __len__(self):
return len(self.datas) def do_arg(self, img, loc):
'''
数据增强方式包括：颜色抖动、水平翻转、垂直翻转。
数据增强后对变换参数作相应改动。
'''
h, w, _ = img.shape
img = self.color_jitter(img) if np.random.uniform(0,1)>0.5: # horizon flip
img[:,::-1,:] = img
loc = (w-loc[0], loc[1]) if np.random.uniform(0,1)>0.5: # vertical flip
img[::-1,:,:] = img
loc = (loc[0], h-loc[1]) return img, loc def pre_process(self, img, loc):
'''图像归一化到[-0.5, 0.5]区间，标签归一化到[0, 1]区间'''
img, loc, param = crop_center(img, loc)
img = img.transpose([2,0,1]).astype(np.float32)/255-0.5
label = np.zeros([2], dtype=np.float32) if loc is not None:
fx, fy = loc
r0, r1 = OUTPUT_RANGE
w = (fx-r0)/(r1-r0)
h = (fy-r0)/(r1-r0)
label[:] = (h, w) return img, label, param
由于样本图像大小不一，这里归一化到统一大小。缩放时保持比例并裁取中间块，同时保留坐标映射信息。预测时可以据此映射回原图坐标。
def crop_center(img, loc=None):
h, w, d = img.shape
dx = (w-h)//2
img = img[:, dx:(dx+h), :]
img = cv2.resize(img, (INPUT_IMAGE_SHAPE, INPUT_IMAGE_SHAPE))
scale = h/INPUT_IMAGE_SHAPE if loc is not None:
x, y = loc
loc = ((x-dx)/h, y/h) return img, loc, (scale, dx)def restore_xy(loc, param):
x, y = loc
scale, dx = param
loc = (x*INPUT_IMAGE_SHAPE*scale+dx, y*INPUT_IMAGE_SHAPE*scale) return loc
模型
paddleseg仅需一行代码即可构建backbone模型（work/my_model.py)：
self.backbone = paddleseg.models.backbones.ResNet50_vd(pretrained=pretrain_url)
与paddle自带的Resnet预训练模型相比，paddleseg的预训练模型默认输出多分辨特征，我们可以很方便的挑选自己所需的特征（work/my_model.py)：
feats = self.backbone(x) feats = [feats[i] for i in self.feat_indices]
本项目目前仅采用末层特征（self.feat_indices=[-1]）。
loss选用的是收敛性能较好的smooth L1。通过自定义loss层，能够方便的实现多头输出加权loss。
class MyLoss(paddle.nn.Layer):
def __init__(self, loss_w = LOSS_WEIGHTS):
super(MyLoss, self).__init__()
self.loss_w = loss_w def forward(self, preds, label):
loss = 0
for pred, w in zip(preds, self.loss_w):
loss += w*paddle.nn.functional.smooth_l1_loss(pred, label) return loss
2.2 代码结构
| 代码 | 功能 |
|---|---|
| config.py | 参数设置 |
| utils.py | 功能函数 |
| my_dataset.py | 数据集 |
| my_model.py | 模型 |
| train.py | 训练主程序 |
| predict.py | 预测主程序 |
2.3 一些细节
- 预处理时全图取中使宽高一致，再缩放为512*512
- 训练数据增强选用了颜色抖动和随机翻转
- 学习率采用warmup和线性递减，基准学习率为1e-3
- 优化器采用Momentum
- 后处理时在局部邻域取灰度最低点作为最终结果
2.4 可视化
不得不说visualdl可视化太棒了，哪怕只是简单的画一下loss和evaluate曲线，都感觉对训练过程把控好很多。
创建日志：
vdl_writer = visualdl.LogWriter(vdl_path)
写入监控变量：
vdl_writer.add_scalar('train/loss', loss_scalar, iters)
在AI Studio的数据模型可视化模块中便可以看到需要的变量曲线。 
3. 复现说明
3.1 安装依赖库
本项目运行依赖paddleseg包，可采用pip命令一键安装。
# 安装paddleseg!pip install paddleseg
3.2 下载并解压数据集
由于版权要求，比赛数据下载链接在报名后可见。
# 下载比赛数据，报名比赛后在比赛页面可查看下载地址!wget https://xxxxxxxxxxxxxxx/task2_Fovea_localization.zip# 解压至competition_data文件夹!unzip task2_Fovea_localization.zip -d competition_data
3.3 训练
模型参数已配置好，执行work/目录下的train.py脚本即可一键启动训练。此外在models/目录下有训练好的checkpoint，也可以不训练直接跳转3.4步获取模型预测结果。
!cd ~/work && python -W ignore train.py
!cd ~/work && python -W ignore predict.py
4. 不足与改进
原本想借鉴YOLO的思路，把题目建模为“分块回归”问题，即把黄斑中央凹可能存在的区域划分为若干网格，首先通过分类确定中央凹点在哪个网格内，再通过回归确定最终位置，如图所示：
但实现以后发现效果不如直接回归的，大概是参数调的不够好吧。
