作者:wjr_l_be78e4 | 来源:互联网 | 2023-07-06 18:23
ConvNext论文提出了一种新的基于卷积的架构,不仅超越了基于Transformer的模型(如Swin),而且可以随着数据量的增加而扩展!今天我们使用Pytorch来对其进行复
ConvNext论文提出了一种新的基于卷积的架构,不仅超越了基于 Transformer 的模型(如 Swin),而且可以随着数据量的增加而扩展!今天我们使用Pytorch来对其进行复现。下图显示了针对不同数据集/模型大小的 ConvNext 准确度。
作者首先采用众所周知的 ResNet 架构,并根据过去十年中的新最佳实践和发现对其进行迭代改进。作者专注于 Swin-Transformer,并密切关注其设计。这篇论文我们在以前也推荐过,如果你们有阅读过,我们强烈推荐阅读它:)
下图显示了所有各种改进以及每一项改进之后的各自性能。
论文将设计的路线图分为两部分:宏观设计和微观设计。宏观设计是从高层次的角度所做的所有改变,例如架构的设计,而微设计更多的是关于细节的,例如激活函数,归一化等。
下面我们将从一个经典的 BottleNeck 块开始,并使用pytorch逐个实现论文中说到的每个更改。
完整文章:
https://avoid.overfit.cn/post/1fd17e7520134996b532ecd50de9672f