极简主义！几行代码助力你快速分析模型的神器来啦

项目介绍

PPMA&＃xff08;Paddle Model Analysis&＃xff09;是一个基于飞桨实现的一个模型分析小工具&＃xff0c;它以极简主义为特色&＃xff0c;高度封装了飞桨代码以便让大家用最少的代码来完成模型的分析&＃xff0c;目前所支持的功能有ImageNet精度验证、可视化图片Top5预测类别、测试模型Params、Throughput、类激活图可视化&＃xff08;CAM&＃xff09;、测试时数据增强&＃xff08;TTA&＃xff09;等&＃xff0c;在这里你可以用最少三行代码来实现想要的功能。

其中ImageNet精度验证在计算Top5准确率上用了飞桨的API&＃xff08;paddle.metric.Accuracy&＃xff09;&＃xff0c;减少了代码的编写。类激活图可视化CAM迁移了pytorch-grad-cam项目&＃xff0c;同时参考了飞桨InterpretDL库的几行代码&＃xff08;这里推荐一下IntepretDL&＃xff0c;它是基于飞桨的可解释性算法库&＃xff0c;不仅包含可视化算法&＃xff0c;还能从数据集和训练过程的角度去解释模型&＃xff09;&＃xff0c;测试时数据增强TTA迁移了ttach项目&＃xff0c;用飞桨代码进行高阶封装。

设计思路

【为什么设计】

图像分类作为CV的基础任务&＃xff0c;在ImageNet上训练的权重能更好迁移到下游任务&＃xff0c;比如目标检测、语义分割等。所以分析基于ImageNet上训练的模型有助于我们能更好了解掌握模型的优劣&＃xff0c;正是基于此&＃xff0c;本项目简洁封装了飞桨基础代码&＃xff0c;以便用户能用至少三行代码来完成对模型的分析。

【怎么设计】

目前有很多优秀的库拥有着简洁易用的体验&＃xff0c;比如fastai、keras、scikit-learn&＃xff0c;以及飞桨自家的PaddleHapi&＃xff0c;这些都是对复杂的代码进行封装&＃xff0c;大大降低了用户上手难度以及用户学习成本&＃xff0c;同时高度的封装带来的是灵活性、自定义性的下降&＃xff0c;如何去权衡这两个矛盾是一个需要思考的问题。

在尝试体验上述工具后&＃xff0c;总结了对于一个工具是否简洁易用需要看以下两点&＃xff1a;

1. 命名的艺术

对函数的命名是一个需要推敲磨打的技术活&＃xff0c;一方面函数命名尽量简单直观&＃xff0c;做到用户自然记忆不需要查函数名&＃xff0c;这就要求尽量命名短&＃xff0c;单词意思尽量贴合使用场景。一方面又要避免与用户变量命名习惯冲突&＃xff0c;比如"img"这个命名很常见&＃xff0c;大多数用来表示一张图片&＃xff0c;故命名函数时尽可能避开它&＃xff0c;这能降低因为命名问题造成的error。

1. API的设计

高度封装以及灵活性是一对矛盾。比如具有高度封装的Keras&＃xff0c;其灵活性和自定义性没有Pytorch那么好。在本项目&＃xff08;模型分析&＃xff09;上&＃xff0c;因为我们只是针对具体任务进行分析&＃xff0c;其自定义性需求并不是那么高&＃xff0c;我们可以适当提高封装性&＃xff0c;同时支持更多的默认参数&＃xff0c;用户可以通过修改默认参数来完成特定需求&＃xff0c;比如CAM增加自定义标签&＃xff08;默认是网络输出的标签&＃xff09;查看相应激活图。

如何使用

AI Studio在线运行本项目&＃xff1a;

https://aistudio.baidu.com/aistudio/projectdetail/2143665

1. 安装PPMA

pip install ppma


1. ImageNet精度验证

完整的ImageNet数据集有1400多万张图片&＃xff0c;涵盖2万多类别&＃xff0c;它是目前深度学习图像领域应用的最多的一个领域&＃xff0c;关于图像分类、定位、检测等研究工作大多基于此数据集展开。但通常我们说的ImageNet指的是目前常用的是ISLVRC 2012&＃xff08;ImageNet Large Scale Visual Recognition Challenge&＃xff09;比赛用的子数据集。

训练集&＃xff1a;1,281,167张图片&＃43;标签

验证集&＃xff1a;50,000张图片&＃43;标签

测试集&＃xff1a;100,000张图片&＃xff0c;

它是图像分类任务的试金石&＃xff0c;基于此数据训练一个很不错的分类网络&＃xff0c;可以良好迁移到下游任务比如检测、分割&＃xff0c;可以说这个数据集极大推动了计算机视觉的发展。

"ImageNet改变了AI领域人们对数据集的认识&＃xff0c;人们真正开始意识到它在研究中的地位&＃xff0c;就像算法一样重要"&＃xff0c;李飞飞教授说。

所以&＃xff0c;当我们用ILSVRC2012训练好模型后&＃xff0c;或者通过Pytorch、Tensorflow进行模型转换以及权重转换后&＃xff0c;我们需要对该模型进行精度验证从而了解这个分类网络的性能。

先准备数据集结构如下&＃xff0c;数据集已上传AI Studio&＃xff1a;

https://aistudio.baidu.com/aistudio/datasetdetail/96753

data/ILSVRC2012├─ ILSVRC2012_val_00000001.JPEG├─ ILSVRC2012_val_00000002.JPEG├─ ILSVRC2012_val_00000003.JPEG├─ ...├─ ILSVRC2012_val_00050000.JPEG└─ val.txt   # target


准备好数据集后&＃xff0c;运行以下代码

import ppma
import paddlemodel &＃61; paddle.vision.models.resnet50(pretrained&＃61;True)    # 可以替换自己的模型
data_path &＃61; "data/ILSVRC2012"                             # 数据路径ppma.imagenet.val(model, data_path)                     # 进行验证


可以看见&＃xff0c;我们只需要三行代码&＃xff0c;即可完成对ImageNet数据集的验证

1. 测试图片 Top5 类别

基于ImageNet数据集&＃xff0c;我们可以对一张图片进行分类&＃xff0c;利用PPMA可以快速得到图像分类前5个最可能的分类结果以及相应的精度

import ppma
import paddleimg_path &＃61; &＃39;test.jpg&＃39;                                    # 图片路径
model &＃61; paddle.vision.models.resnet50(pretrained&＃61;True)   # 可以替换自己的模型ppma.imagenet.test_img(model, img_path)


在这个示例中我们只需要准备图像路径和模型&＃xff0c;一键放入函数里面&＃xff0c;无过多的冗余&＃xff0c;简单直观&＃xff0c;输入效果如下

测试图片&＃xff1a;

模型预测&＃xff1a;

1. 测试模型 Param、Throughput

一个模型除了精度指标之外&＃xff0c;还有参数量&＃xff08;Params&＃xff09;、吞吐量&＃xff08;Throughput&＃xff09;等&＃xff0c;以下是如何对于模型进行检测参数量和吞吐量&＃xff08;测试Throughput时候&＃xff0c;前几轮因为不稳定要进行warmup&＃xff0c;这里设置10iter&＃xff09;

import ppma
import paddlemodel &＃61; paddle.vision.models.resnet50()   # 可以替换自己的模型# Params -- depend model
param &＃61; ppma.tools.param(model)
print(&＃39;Params&＃xff1a;{:,}&＃39;.format(param))# Thoughtout -- depend model and resolution
ppma.tools.throughput(model, image_size&＃61;224)


1. CAM (Class Activation Mapping)

深度学习的可解释一直是讨论的热点&＃xff0c;尤其是在分类和检测等视觉性任务&＃xff0c;我们要了解网络学到了什么知识以及哪些没有学习&＃xff0c;这就用到了CAM。它可用于定位图像中与类别相关的区域&＃xff0c;可视化以此来观察分类的高响应是否落在目标的核心部位上&＃xff0c;CAM的具体原理如下。

PPMA基于热门的开源项目进行复现&＃xff0c;对代码进行了更高的封装&＃xff0c;并提供了基于CAM的GradCAM、GradCAM&＃43;&＃43;、XGradCAM三种可视化方法&＃xff0c;使用方法如下所示。

import paddle
import matplotlib.pyplot as plt
from ppma import camimg_path &＃61; &＃39;img1.jpg&＃39;                                      # 图片路径
model &＃61; paddle.vision.models.resnet18(pretrained&＃61;True)     # 模型定义
target_layer &＃61; model.layer4[-1]                            # 提取模型某层的激活图
cam_extractor &＃61; cam.GradCAMPlusPlus(model, target_layer)   # 支持 GradCAM、XGradCAM、GradCAM&＃43;&＃43;# 提取激活图
# label设置为None&＃xff0c;默认标签用该网络的ImageNet top1类别
activation_map &＃61; cam_extractor(img_path, label&＃61;None)   
plt.imshow(activation_map)
plt.axis(&＃39;off&＃39;)
plt.show()# 与原图融合
cam_image &＃61; cam.overlay(img_path, activation_map)   
plt.imshow(cam_image)
plt.axis(&＃39;off&＃39;)
plt.show()


CAM里面有两个很重要的参数&＃xff0c;分别是target_layer、label&＃xff0c;target_layer是提取网络某个层梯度作为激活&＃xff0c;不同的网络结构提取的层不同&＃xff0c;对于CNN网络&＃xff0c;大部分是在网络最后的avgpool层之前&＃xff0c;而label是待测试的标签&＃xff0c;默认为None&＃xff0c;即用网络的预测标签&＃xff0c;也可以自己设置图片的标签以此来看模型是否学习到该学习的地方。

特别说明&＃xff1a;预计下一版本的飞桨会改进获取模型内部梯度的方式&＃xff0c;计算梯度的效率会大幅提高&＃xff0c;到时候对更大型的CNN网络以及ViT、MLP等前沿模型会提供更好的支持&＃xff0c;敬请关注&＃xff01;于此同时&＃xff0c;这里推荐一个基于飞桨的可解释性算法库InterpretDL&＃xff0c;目前已集成十余种不同的可解释性算法。除了可视化算法&＃xff0c;InterpretDL还能从数据集和训练过程的角度去解释模型&＃xff0c;推荐大家去使用。

1. TTA (Test Time Augmentation)

TTA&＃xff0c;测试时间数据增强&＃xff0c;是在模型测试时对数据进行增强以达到提升模型性能的一种Trick。

与数据增强对训练集的方式类似&＃xff0c;测试时间数据增强的目的是对测试图像进行不同方式的修改。因此&＃xff0c;我们将向训练好的模型展示几次增强后的图像&＃xff0c;而不是只展示一次常规的、"干净的 "图像。然后&＃xff0c;我们将对每张相应图像的预测进行平均&＃xff0c;并将其作为模型的最终预测结果。

本项目基于热门开源项目做了简化&＃xff0c;提升了易用性&＃xff0c;使用如下&＃xff1a;

import paddle
import ppma
import ppma.tta as ttamodel &＃61; paddle.vision.resnet18(pretrained&＃61;True)
model_tta &＃61; tta.ClassTTA(model, tta.aliases.hflip_transform())   # 生成 TTA 模型ppma.imagenet.val(model_tta, "data/ILSVRC2012")


我们可以看到只加了一个翻转增强&＃xff0c;就能让ResNet18精度涨了0.8%

参考资料

https://image-net.org/

https://towardsdatascience.com/test-time-augmentation-tta-and-how-to-perform-it-with-keras-4ac19b67fb4d

https://github.com/qubvel/ttach

https://github.com/jacobgil/pytorch-grad-cam

Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, Dhruv Batra

Grad-CAM&＃43;&＃43;: Improved Visual Explanations for Deep Convolutional Networks Aditya Chattopadhyay, Anirban Sarkar, Prantik Howlader, Vineeth N Balasubramanian

https://github.com/PaddlePaddle/InterpretDL

InterpretDL&＃xff1a;基于飞桨的模型可解释性算法开源库&＃xff0c;目前集成了十余种主流的可解释性算法。InterpretDL遵循『Plug-and-Play』的设计理念&＃xff0c;用户无需修改模型&＃xff1b;所有算法使用统一API接口&＃xff0c;方便用户快速上手&＃xff1b;并对每种算法提供单独的教程与解析&＃xff0c;帮助用户理解、选择合适的算法。

如果您想详细了解更多InterpretDL的相关内容&＃xff0c;大家可以直接前往Github地址获得完整开源项目代码&＃xff0c;记得Star收藏支持一下哦&＃xff1a;

https://github.com/PaddlePaddle/InterpretDL

长按下方二维码立即

Star

更多信息&＃xff1a;

1. 飞桨官方QQ群&＃xff1a;793866180

2. 飞桨官网网址&＃xff1a;

   www.paddlepaddle.org.cn/

3. 飞桨开源框架项目地址&＃xff1a;

   GitHub:

   github.com/PaddlePaddle/Paddle 
   Gitee:

   gitee.com/paddlepaddle/Paddle

4. 欢迎在飞桨论坛讨论交流~~

   http://discuss.paddlepaddle.org.cn