本项目首次用paddle2.0复现sge-net，在10分类动物数据集（按8:2划分训练与验证集）上实验，对比sge-net50与resnet50的分类效果。结果显示，sge-net50验证准确率达0.8056，显著高于resnet50的0.5888，证明sge模块能有效提升卷积网络的语义特征学习能力。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
项目背景
SGE是2019年arxiv上的一篇论文Spatial Group-wise Enhance: Improving Semantic Feature Learning in Convolutional Networks中提出的基于注意力机制的卷积网络模型。本项目即对其进行复现。
计算机视觉领域的注意力机制主要涵盖空间注意力和通道注意力两个方面。其中空间注意力用来捕获像素间的关系，而通道注意力用来捕获通道间的关系。SGE提出了一个获取空间注意力的模块Spatial Group-wise Enhance(SGE)。本项目复现SGE-NET并用其来完成动物图像分类的实验。
项目简介
本项目首次使用paddle2.0复现了含有注意力机制的网络SGE-NET，并在动物数据集上进行了训练和验证。
动物数据集的划分是按8:2的的划分方法进行训练集与验证集划分的。
模型简介
SGE-NET网络的核心思想是提出了SGE模块。该模块对分组卷积的每个组采用全局平均池化产生相关的统计信息，然后和输入特征做点积，得到注意力特征图。然后使用注意力特征图来调节输入的特征。该模块基本不增加额外的参数。如图1所示。
图1 SGE模块细节示意图
具体实现可以fork后见代码细节。
论文原文：Spatial Group-wise Enhance: Improving Semantic Feature Learning in Convolutional Networks
数据集介绍
本项目使用10分类的动物数据集进行训练和测试.
该十分类动物数据集，包含dog,horse,elephant,butterfly,chicken,cat,cow,sheep,spider和squirrel。每一分类的图片数量为2k-5k。
文件结构
| 文件名或文件夹名 | 功能 |
|---|---|
| sge_resnet.py | SGE网络定义文件 |
| animal_dataset.py | 数据集定义文件 |
| config.py | 配置文件 |
| train_val_split.py | 训练验证划分文件 |
| train.py | 模型训练 |
| eval.py | 模型验证 |
解压数据集
In [ ]
!unzip -q data/data70196/animals.zip -d work/dataset
查看图片
In [ ]
import osimport randomfrom matplotlib import pyplot as pltfrom PIL import Image
imgs = []
paths = os.listdir('work/dataset')for path in paths:
img_path = os.path.join('work/dataset', path) if os.path.isdir(img_path):
img_paths = os.listdir(img_path)
img = Image.open(os.path.join(img_path, random.choice(img_paths)))
imgs.append((img, path))
f, ax = plt.subplots(3, 3, figsize=(12,12))for i, img in enumerate(imgs[:9]):
ax[i//3, i%3].imshow(img[0])
ax[i//3, i%3].axis('off')
ax[i//3, i%3].set_title('label: %s' % img[1])
plt.show()<Figure size 864x864 with 9 Axes>
划分训练集和验证集
In [ ]
!python code/train_val_split.py
finished train val split!
使用SGE-NET50网络进行动物分类的训练并验证
In [1]
!python code/train.py --net 'sge_resnet'
验证
In [4]
!python code/eval.py --net 'sge_resnet'
W0219 19:49:07.862567 32045 device_context.cc:362] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 10.1, Runtime API Version: 10.1
W0219 19:49:07.866497 32045 device_context.cc:372] device: 0, cuDNN Version: 7.6.
Eval begin...
The loss value printed in the log is the current batch, and the metric is the average value of previous step.
step 103/103 [==============================] - loss: 0.5671 - acc: 0.8056 - 239ms/step
Eval samples: 3276
{'loss': [0.567119], 'acc': 0.8055555555555556}图示训练验证过程
图2. 使用SGE-NET50的训练验证图示
使用resnet50网络进行动物分类的训练并验证
训练
In [2]
!python code/train.py --net 'resnet'
验证
In [ ]
!python code/eval.py --net 'resnet'
W0213 21:34:50.038996 12684 device_context.cc:362] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 10.1, Runtime API Version: 10.1
W0213 21:34:50.043457 12684 device_context.cc:372] device: 0, cuDNN Version: 7.6.
Eval begin...
The loss value printed in the log is the current batch, and the metric is the average value of previous step.
step 103/103 [==============================] - loss: 1.4232 - acc: 0.5888 - 191ms/step
Eval samples: 3276
{'loss': [1.4232028], 'acc': 0.5888278388278388}图示训练验证过程
图3. 使用ResNet的训练验证图示
比较
图4. 使用SGE-NET和ResNet的训练验证比较图示
