本次演讲将讨论通过大规模的预训练和少样本迁移来学习一般的视觉表示，特别关注Vision Transformer (ViT)架构，它将transformers推广到视觉领域。

Transformer模型架构最近引起了极大的兴趣，因为它们在语言、视觉和强化学习等领域的有效性。 例如，在自然语言处理领域， Transformer 已经成为现代深度学习堆栈中不可缺少的主要部分。 最近， 提出 的令人眼花缭乱的X-former模型如Linformer, Performer, Longformer等这些都改进了原始Transformer架构的X-former模型，其中许多改进了计算和内存效率。 为了帮助热心的研究人员在这一混乱中给予指导，本文描述了大量经过深思熟虑的最新高效X-former模型的选择，提供了一个跨多个领域的现有工作和模型的有组织和全面的概述。

关键词 ：深度学习，自然语言处理，Transformer模型，注意力模型

https://www.zhuanzhi.ai/paper/39a97bd373cc6f37c6b2e9026f3422e8

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“TR35” 就可以获取《最新《Transformers》报告，Google Lucas Beyer 报告》专知下载链接

                       

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取100000+AI主题知识资料