timm-vis 2.0.0

PyTorch 图像模型可视化工具

pytorch 图像分类器的各种可视化技术的实现。该库可用于可视化和理解任何 PyTorch 图像分类器。这不是官方的 PyTorch 库，也不隶属于 Ross Wightman 的pytorch-image-models库。details.ipynb有所有实现方法的可视化示例。

目前，实现了以下方法：

• 过滤可视化
• 激活可视化
• 最大激活补丁
• 显着性图 [1]
• 合成图像生成 [1]
• 对抗性攻击愚弄模型
• 特征反转 [2]
• 研究生-CAM [3]
• 深梦 [4]

上述方法的实现和参数的具体例子和细节在details.ipynb中有描述。本 讲座将讨论所有上述可视化技术。

安装

$ pip install timm-vis

用法

from timm_vis.methods import *

# available methods - visualize_filters, visualize_activations, 
#   maximally_activated_patches, saliency_map, 
#   generate_image, fool_model, feature_inversion, deep_dream

论文参考

[1] 凯伦·西蒙扬、安德里亚·韦达尔迪、安德鲁·齐瑟曼。深层卷积网络：可视化图像分类模型和显着图。https://arxiv.org/abs/1312.6034。

[2] 阿拉文德·马亨德兰，安德里亚·韦达尔迪。通过反转它们来理解深度图像表示https://arxiv.org/abs/1412.0035

[3] Ramprasaath R. Selvaraju、Michael Cogswell、Abhishek Das、Ramakrishna Vedantam、Devi Parikh、Dhruv Batra。Grad-CAM：通过基于梯度的本地化从深度网络进行视觉解释 [https://arxiv.org/abs/1610.02391 (https://arxiv.org/abs/1610.02391)]

[4] 亚历山大·莫德文采夫、克里斯托弗·奥拉、迈克·泰卡。Inceptionism：深入研究神经网络https://ai.googleblog.com/2015/06/inceptionism-going-deeper-into-neural.html

代码参考

[5] 罗斯·怀特曼 pytorch-image-models

[6]使用 PyTorch 可视化深度学习模型的Irfan Alghani Khalid显着图

[7] 乌特库·奥兹布拉克。pytorch-cnn-对抗性攻击

[8] Duc Ngo在 pytorch 中的深梦