In this paper, we propose Dynamic Self-Attention (DSA), a new self-attention mechanism for sentence embedding. We design DSA by modifying dynamic routing in capsule network (Sabouretal.,2017) for natural language processing. DSA attends to informative words with a dynamic weight vector. We achieve new state-of-the-art results among sentence encoding methods in Stanford Natural Language Inference (SNLI) dataset with the least number of parameters, while showing comparative results in Stanford Sentiment Treebank (SST) dataset.


翻译:在本文中,我们提出动态自我注意(DSA),这是一个新的自留机制,用于嵌入刑期。我们设计DSA,方法是修改胶囊网络的动态路径(Sabouretal.,2017年),用于自然语言处理。DSA关注带有动态重量矢量的信息单词。我们在斯坦福自然语言推断(SNLI)数据集的句码编码方法中取得新的最新结果,参数最少,同时在斯坦福敏感树库数据集中显示比较结果。

8
下载
关闭预览

相关内容

Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
注意力机制介绍,Attention Mechanism
专知会员服务
172+阅读 · 2019年10月13日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
暗通沟渠:Multi-lingual Attention
我爱读PAMI
7+阅读 · 2018年2月24日
Arxiv
6+阅读 · 2019年4月8日
VIP会员
Top
微信扫码咨询专知VIP会员