【MICCAI2022】PHTrans：并行聚合全局和局部表示以进行医学图像分割

目录

• 前言
• 概述
• 为什么要并行
• PHTrans 架构 overview
• Trans&Conv block
• 实验
• 总结
• 参考链接

前言

这是 MICCAI 2022 的第二篇论文阅读笔记，贴下第一篇的地址：https://mp.weixin.qq.com/s/cSRc0a2gMq3NbQ8loqudCQ 。我们已知的是，在医学图像分割上，已经有了许多基于 CNN 和 Transformer 的优秀混合架构，并取得了很好的性能。然而，这些将模块化 Transformer 嵌入 CNN 的方法，还有可以挖掘的空间。

概述

在这篇论文中，提出了一种新的医学图像分割混合架构：PHTrans，它在主要构建块中并行混合 Transformer 和 CNN，分别从全局和局部特征中生成层次表示并自适应聚合它们，旨在充分利用 Transformer 和 CNN 各自的优势以获得更好的分割性能。具体来说，PHTrans 沿用 U 形设计，在深层引入并行混合模块，其中卷积块和修改后的 3D Swin Transformer 块分别学习局部特征和全局依赖关系，然后使用 sequence-to-volume 操作统一输出维度以实现特征聚合，操作的具体细节在这篇阅读笔记的后面详细介绍。最后在 BCV 和 ACDC 数据集上验证了其有效性，并用 nnUNet 包预处理 BCV 和 ACDC 数据集。

为什么要并行

下图的 (a)~(d) 是几种流行的基于 Transformer 和 CNN 的混合架构，既将 Transformer 添加到以