Building systems with capability of natural language understanding (NLU) has been one of the oldest areas of AI. An essential component of NLU is to detect logical succession of events contained in a text. The task of sentence ordering is proposed to learn succession of events with applications in AI tasks. The performance of previous works employing statistical methods is poor, while the neural networks-based approaches are in serious need of large corpora for model learning. In this paper, we propose a method for sentence ordering which does not need a training phase and consequently a large corpus for learning. To this end, we generate sentence embedding using BERT pre-trained model and measure sentence similarity using cosine similarity score. We suggest this score as an indicator of sequential events' level of coherence. We finally sort the sentences through brute-force search to maximize overall similarities of the sequenced sentences. Our proposed method outperformed other baselines on ROCStories, a corpus of 5-sentence human-made stories. The method is specifically more efficient than neural network-based methods when no huge corpus is available. Among other advantages of this method are its interpretability and needlessness to linguistic knowledge.


翻译:建立具有自然语言理解能力的系统(NLU)一直是AI最古老的领域之一。 NLU的一个基本组成部分是检测文本中包含的事件的逻辑顺序。 命令的任务是学习与AI任务应用的相继事件。 先前采用统计方法的工作表现很差, 而以神经网络为基础的方法非常需要大型公司进行模型学习。 在本文中, 我们提出了一个不需要培训阶段的句号排序方法, 因而不需要大量的学习内容。 为此, 我们用BERT预先培训的模式生成句号, 并用共弦相似性评分衡量类似性。 我们建议将此评分作为顺序事件一致性程度的指标。 我们最后通过粗力搜索来排序句子, 以尽量扩大顺序句子的总体相似性。 我们提出的方法超过了由五种证据组成的人类故事集成的其他基线。 这种方法比没有巨量的神经网络方法特别有效。 这种方法的其他优点是其解释能力和语言知识的不必要性。

0
下载
关闭预览

相关内容

专知会员服务
17+阅读 · 2021年9月15日
最新《Transformers模型》教程,64页ppt
专知会员服务
319+阅读 · 2020年11月26日
专知会员服务
19+阅读 · 2020年10月13日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
32+阅读 · 2019年10月16日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
Transformer中的相对位置编码
AINLP
5+阅读 · 2020年11月28日
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
听说你还没读过 Bert 源码?
AINLP
7+阅读 · 2019年8月7日
进一步改进GPT和BERT:使用Transformer的语言模型
机器之心
16+阅读 · 2019年5月1日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
Arxiv
0+阅读 · 2021年10月17日
Arxiv
0+阅读 · 2021年9月30日
Arxiv
5+阅读 · 2019年4月21日
Knowledge Based Machine Reading Comprehension
Arxiv
4+阅读 · 2018年9月12日
VIP会员
相关资讯
Transformer中的相对位置编码
AINLP
5+阅读 · 2020年11月28日
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
听说你还没读过 Bert 源码?
AINLP
7+阅读 · 2019年8月7日
进一步改进GPT和BERT:使用Transformer的语言模型
机器之心
16+阅读 · 2019年5月1日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
Top
微信扫码咨询专知VIP会员