The transformer has dominated the natural language processing (NLP) field for a long time. Recently, the transformer-based method has been adopted into the computer vision (CV) field and shows promising results. As an important branch of the CV field, medical image analysis joins the wave of the transformer-based method rightfully. In this review, we illustrate the principle of the attention mechanism, and the detailed structures of the transformer, and depict how the transformer is adopted into medical image analysis. We organize the transformer-based medical image analysis applications in a sequence of different tasks, including classification, segmentation, synthesis, registration, localization, detection, captioning, and denoising. For the mainstream classification and segmentation tasks, we further divided the corresponding works based on different medical imaging modalities. The datasets corresponding to the related works are also organized. We include thirteen modalities and more than twenty objects in our work.


翻译:变压器长期以来一直主导着自然语言处理( NLP) 字段。 最近, 以变压器为基础的方法被应用到计算机视觉( CV) 字段中, 并展示出有希望的结果 。 作为CV 字段的一个重要分支, 医学图像分析会正确地结合以变压器为基础的方法波。 在本次审查中, 我们演示了注意机制的原则和变压器的详细结构, 并描述了变压器是如何被采纳为医学图像分析的 。 我们按照不同的任务顺序组织变压器医学图像分析应用, 包括分类、 分解、 合成、 注册、 本地化、 检测、 说明 和 解调等。 对于主流分类和分解任务, 我们进一步根据不同的医学成像模式划分相应的工程。 相关工程的数据集也组织起来 。 我们在工作中包括13种模式和20多个对象 。

0
下载
关闭预览

相关内容

[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
ACM MM 2022 Call for Papers
CCF多媒体专委会
5+阅读 · 2022年3月29日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
20+阅读 · 2017年12月17日
【论文】图上的表示学习综述
机器学习研究会
15+阅读 · 2017年9月24日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Transformers in Medical Image Analysis: A Review
Arxiv
40+阅读 · 2022年2月24日
Arxiv
17+阅读 · 2022年2月23日
Arxiv
15+阅读 · 2022年1月24日
VIP会员
相关资讯
ACM MM 2022 Call for Papers
CCF多媒体专委会
5+阅读 · 2022年3月29日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
20+阅读 · 2017年12月17日
【论文】图上的表示学习综述
机器学习研究会
15+阅读 · 2017年9月24日
相关论文
Transformers in Medical Image Analysis: A Review
Arxiv
40+阅读 · 2022年2月24日
Arxiv
17+阅读 · 2022年2月23日
Arxiv
15+阅读 · 2022年1月24日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员