[AI达人特训营第三期] keggle木薯病叶分类【基于PaddleClas】

二.数据集分析：

文件

[train/test]_images：图像文件。其中供测试的图片只有一张。（由于keggle竞赛的测试数据集不公开，在test_images下只有1张图片）

train.csv：

image_id：镜像文件名。

label:疾病的ID代码。

sample_submission.csv 给定公开的测试集内容，正确格式化的示例提交。

image_id:镜像文件名。

label:疾病的ID代码。。

[train/test]_tfrecords

tfrecords格式的镜像文件。

label_num_to_disease_map

每个疾病代码与真实疾病名称之间的映射。

魔术橡皮擦

智能擦除、填补背景内容

下载

三.PaddleClas介绍

飞桨图像识别套件PaddleClas是飞桨为工业界和学术界所准备的一个图像识别和图像分类任务的工具集，助力使用者训练出更好的视觉模型和应用落地。 PaddleClas支持多种前沿图像分类、识别相关算法，发布产业级特色骨干网络PP-HGNet、PP-LCNetv2、 PP-LCNet和SSLD半监督知识蒸馏方案等模型，在此基础上打造PULC超轻量图像分类方案和PP-ShiTu图像识别系统。        

您可以选择自己重新克隆PaddleClas到本地进行训练，也可以直接解压已经修改好的套件进行复现。

将PaddleClas克隆到本地，并安装PaddleClas依赖。

 # !git clone https://github.com/PaddlePaddle/PaddleClas.git

# pip install --upgrade -r /home/aistudio/PaddleClas/requirements.txt

解压PaddleClas

! unzip /home/aistudio/PaddleClas.zip

# 解压数据集! unzip /home/aistudio/data/data200382/cassava-leaf-disease-classification.zip -d ./dataset/

# 导入依赖import osimport cv2import numpy as npimport pandas as pdimport matplotlib.pyplot as plt

四. 数据分析：

在该数据集中，每张图片的尺寸大小均为6008003，有五种种种类，共21397张训练图片，问题本质是一个多分类问题 样本分布不均匀：通过可视化label的数量，可以发现疾病id为3的图像样本较少，可以对少类别的原图进行裁剪、缩放、旋转等操作增加该类别的图片数量，从而达到类别均衡

BASE_PATH = '/home/aistudio/dataset/train_images/1004672608.jpg'image = cv2.imread(BASE_PATH)
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
plt.imshow(image)
plt.show()
image.shape  # (600, 800, 3)

(600, 800, 3)

train_dataset = pd.read_csv('/home/aistudio/dataset/train.csv')
train_dataset.head()

         image_id  label
0  1000015157.jpg      0
1  1000201771.jpg      3
2   100042118.jpg      1
3  1000723321.jpg      1
4  1000812911.jpg      3

train_dataset.shape #(21397, 2)

(21397, 2)

plt.figure(figsize=(6, 3))

train_dataset['label'].value_counts().plot(
    kind='bar',
    color='#558354',
    width=0.7)

plt.xlabel('Label', fontsize=12)
plt.ylabel('Count', fontsize=12)
plt.title('Distribution of Labels', fontsize=15)
plt.xticks(rotation=360)
plt.show()

五. 数据预处理：

我们按照0.5:0.4:0.1的比例划分训练集，测试集，验证集，并写入train_list.txt,test_list.txt,val_list.txt

train_image = []
train_id = []for i in train_dataset['image_id']:
    train_image.append(i)for i in train_dataset['label']:
    train_id.append(i)

train_rate, test_rate, val_rate = 0.5, 0.4, 0.1 # 互粉si1 = int(len(train_image)*train_rate)
i2 = int(len(train_image)*(train_rate + test_rate))
 
train_data = train_image[:i1]
train_label = train_id[:i1]

test_data = train_image[i1:i2]
test_label = train_id[i1:i2]

val_data = train_image[i2:]
val_label = train_id[i2:]print(len(train_data),len(train_label))print(len(test_data),len(test_label))print(len(val_data),len(val_label))

10698 10698
8559 8559
2140 2140

数据存储格式如下：

for i in range(len(train_data)):    with open("/home/aistudio/dataset/train_list.txt", "a") as f:
        f.write("/home/aistudio/dataset/train_images/" + train_data[i] + " " + str(train_label[i]) + '\n')for i in range(len(test_data)):    with open("/home/aistudio/dataset/test_list.txt", "a") as f:
        f.write("/home/aistudio/dataset/train_images/" + test_data[i] + " " + str(test_label[i]) + '\n')for i in range(len(val_data)):    with open("/home/aistudio/dataset/val_list.txt", "a") as f:
        f.write("/home/aistudio/dataset/train_images/" + val_data[i] + " " + str(val_label[i]) + '\n')

六. 定义网络：

本项目作为一个分类基础baseline，可以选择套件内预训练好的ResNet_vd网络来进行分类 ··需要注意的是，在网络最后一层我们要改为类别数：5

开始训练

使用ResNet_cd网络进行训练，配置文件在/home/aistudio/PaddleClas/ppcls/configs/quick_start/ResNet50_vd.yaml中

具体修改如下： 每20轮迭代保存一次模型，使用VisualDl可视化工具，图片尺寸改为224*224，因为是五分类问题，所以改为5个类别

修改训练文件和验证文件路径，数据预处理方式为随机裁剪，水平翻转，标准化等

优化器选择动量优化器，参数0.9，损失选择CELoss,batch_size选择64。

%cd ~/PaddleClas
!python3 tools/train.py \
    -c /home/aistudio/PaddleClas/ppcls/configs/quick_start/ResNet50_vd.yaml \
    -o Global.checkpoints="/home/aistudio/PaddleClas/output/ResNet50_vd/epoch_140" \
    -o Arch.pretrained=True \
    -o Global.device=gpu \

七. 数据可视化

点击notebook左边可视化选项 在设置logdir添加 PaddleClas/output val_1,val_2,val_4,val_5,val_6进行可视化 acc稳定在86.6%左右        

八. 模型评估 + 模型预测

%cd ~/PaddleClas
!python3 tools/eval.py \
    -c /home/aistudio/PaddleClas/ppcls/configs/quick_start/ResNet50_vd.yaml \
    -o Global.pretrained_model=/home/aistudio/PaddleClas/output/ResNet50_vd/best_model

%cd ~/PaddleClas
!python3 tools/infer.py \
    -c /home/aistudio/PaddleClas/ppcls/configs/quick_start/ResNet50_vd.yaml \
    -o Global.pretrained_model=/home/aistudio/PaddleClas/output/ResNet50_vd/best_model

九.基于训练得到的权重导出 inference 模型

%cd ~/PaddleClas
!python3 tools/export_model.py \
    -c /home/aistudio/PaddleClas/ppcls/configs/quick_start/ResNet50_vd.yaml \
    -o Global.pretrained_model=/home/aistudio/PaddleClas/output/ResNet50_vd/best_model \
    -o Global.save_inference_dir=deploy/models/ResNet50_vd_base_infer

# !zip -r PaddleClas.zip /home/aistudio/PaddleClas