Semantic matching is of central significance to the answer selection task which aims to select correct answers for a given question from a candidate answer pool. A useful method is to employ neural networks with attention to generate sentences representations in a way that information from pair sentences can mutually influence the computation of representations. In this work, an effective architecture,multi-size neural network with attention mechanism (AM-MSNN),is introduced into the answer selection task. This architecture captures more levels of language granularities in parallel, because of the various sizes of filters comparing with single-layer CNN and multi-layer CNNs. Meanwhile it extends the sentence representations by attention mechanism, thus containing more information for different types of questions. The empirical study on three various benchmark tasks of answer selection demonstrates the efficacy of the proposed model in all the benchmarks and its superiority over competitors. The experimental results show that (1) multi-size neural network (MSNN) is a more useful method to capture abstract features on different levels of granularities than single/multi-layer CNNs; (2) the attention mechanism (AM) is a better strategy to derive more informative representations; (3) AM-MSNN is a better architecture for the answer selection task for the moment.


翻译:语义匹配对于从候选答题库中选择对特定问题正确答案的答案的答案选择任务具有核心意义。 一种有用的方法是使用神经网络,注意生成句子表达方式,使来自对等句的信息能够对表达方式的计算产生相互影响。 在这项工作中,在选择答案的任务中引入了一个有效的结构,即具有关注机制的多尺寸神经网络(AM-MSNNN),这个结构平行地捕捉了比单层CNN和多层CNN更多的语言微粒。同时,它通过关注机制扩展了句子表达方式,从而包含了不同类型问题的更多信息。关于选择答案的三种基准任务的经验性研究表明了所有基准中拟议模型的功效及其优于竞争者。实验结果显示:(1) 多尺寸神经网络(MSNNN)是比单层/多层CNNNNP更有用的一种方法,用来捕捉不同微粒度不同层次的抽象特征;(2) 注意机制(AM)是一个更好的战略,以获得更多信息性陈述;(3) AM-MSNNNNNM是选择答案时一个更好的结构。

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
【DeepMind推荐】居家学习的人工智能干货资源大全集
专知会员服务
110+阅读 · 2020年6月27日
【资源】文本风格迁移相关资源汇总
专知
13+阅读 · 2020年7月11日
一文读懂Attention机制
机器学习与推荐算法
63+阅读 · 2020年6月9日
Attention最新进展
极市平台
5+阅读 · 2020年5月30日
【文本匹配】Question Answering论文
深度学习自然语言处理
8+阅读 · 2020年4月20日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
原创 | Attention Modeling for Targeted Sentiment
黑龙江大学自然语言处理实验室
25+阅读 · 2017年11月5日
Arxiv
6+阅读 · 2019年4月8日
Arxiv
19+阅读 · 2018年3月28日
Arxiv
5+阅读 · 2018年3月16日
VIP会员
相关VIP内容
【DeepMind推荐】居家学习的人工智能干货资源大全集
专知会员服务
110+阅读 · 2020年6月27日
相关资讯
【资源】文本风格迁移相关资源汇总
专知
13+阅读 · 2020年7月11日
一文读懂Attention机制
机器学习与推荐算法
63+阅读 · 2020年6月9日
Attention最新进展
极市平台
5+阅读 · 2020年5月30日
【文本匹配】Question Answering论文
深度学习自然语言处理
8+阅读 · 2020年4月20日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
原创 | Attention Modeling for Targeted Sentiment
黑龙江大学自然语言处理实验室
25+阅读 · 2017年11月5日
Top
微信扫码咨询专知VIP会员