基于Paddle2.0的样式校正卷积网络SRM

项目简介

本项目首次使用paddle2.0复现了含有基于风格校正的网络SRM，并在动物数据集上进行了训练和验证。

动物数据集的划分是按8:2的的划分方法进行训练集与验证集划分的。

模型简介

SRM网络的核心思想是提出了SRM模块。该模块首先通过风格池化从每个通道的特征图中提取风格信息，然后通过风格集成来评估每个通道的校正权重。其中，风格池化是在空间维度上操作，风格集成是在通道维度上操作。这种将特征图和风格权重相结合的方式本质上是一种注意力机制，只不过这种注意力关注的是特征图中的风格信息。SRM示意图如图1所示。

图1 SRM模块示意图

SRM实现细节如图2所示。

图2 SRM模块实现细节示意图

具体实现可以fork后见代码细节。

论文原文：SRM : A Style-based Recalibration Module for Convolutional Neural Networks

参考代码：

RoomGPT

使用AI为每个人创造梦想的房间

下载

PyTorch的实现

数据集介绍

本项目使用10分类的动物数据集进行训练和测试.

该十分类动物数据集，包含dog,horse,elephant,butterfly,chicken,cat,cow,sheep,spider和squirrel。每一分类的图片数量为2k-5k。

文件结构

解压数据集

!unzip -q data/data70196/animals.zip -d work/dataset

查看图片

import osimport randomfrom matplotlib import pyplot as pltfrom PIL import Image

imgs = []
paths = os.listdir('work/dataset')for path in paths:   
    img_path = os.path.join('work/dataset', path)    if os.path.isdir(img_path):
        img_paths = os.listdir(img_path)
        img = Image.open(os.path.join(img_path, random.choice(img_paths)))
        imgs.append((img, path))

f, ax = plt.subplots(3, 3, figsize=(12,12))for i, img in enumerate(imgs[:9]):
    ax[i//3, i%3].imshow(img[0])
    ax[i//3, i%3].axis('off')
    ax[i//3, i%3].set_title('label: %s' % img[1])
plt.show()

划分训练集和验证集

!python code/train_val_split.py

finished train val split!

使用SRM-ResNet50网络进行动物分类的训练并验证

训练

!python code/train.py --net 'attention_resnet' --recalibration_type 'srm'

验证

!python code/eval.py --net 'attention_resnet' --recalibration_type 'srm'

Eval begin...
The loss value printed in the log is the current batch, and the metric is the average value of previous step.
step 3276/3276 [==============================] - loss: 7.0645e-04 - acc: 0.8736 - 297ms/step         
Eval samples: 3276
{'loss': [0.0007064453], 'acc': 0.8736263736263736}

图示SRM训练验证过程

使用GE-ResNet50网络进行动物分类的训练并验证

!python code/train.py --net 'attention_resnet' --recalibration_type 'ge'

验证

!python code/eval.py --net 'attention_resnet' --recalibration_type 'ge'

Eval begin...
The loss value printed in the log is the current batch, and the metric is the average value of previous step.
step 3276/3276 [==============================] - loss: 0.6899 - acc: 0.8614 - 228ms/step             
Eval samples: 3276
{'loss': [0.6899206], 'acc': 0.8614163614163615}

图示GE训练验证过程

使用SE-ResNet50网络进行动物分类的训练并验证

!python code/train.py --net 'attention_resnet' --recalibration_type 'se'

验证

!python code/eval.py --net 'attention_resnet' --recalibration_type 'se'

W0222 10:36:03.112169  9128 device_context.cc:362] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 10.1, Runtime API Version: 10.1
W0222 10:36:03.116613  9128 device_context.cc:372] device: 0, cuDNN Version: 7.6.
Eval begin...
The loss value printed in the log is the current batch, and the metric is the average value of previous step.
step 103/103 [==============================] - loss: 0.6246 - acc: 0.8730 - 175ms/step        
Eval samples: 3276
{'loss': [0.6245543], 'acc': 0.873015873015873}

图示SE训练验证过程

使用ResNet50网络进行动物分类的训练并验证

训练

!python code/train.py --net 'resnet'

验证

!python code/eval.py --net 'resnet'

W0213 21:34:50.038996 12684 device_context.cc:362] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 10.1, Runtime API Version: 10.1
W0213 21:34:50.043457 12684 device_context.cc:372] device: 0, cuDNN Version: 7.6.
Eval begin...
The loss value printed in the log is the current batch, and the metric is the average value of previous step.
step 103/103 [==============================] - loss: 1.4232 - acc: 0.5888 - 191ms/step        
Eval samples: 3276
{'loss': [1.4232028], 'acc': 0.5888278388278388}

图示ResNet50训练验证过程

比较