本文试图对神经文本生成模型的基本性质有更深入的理解。对机器生成文本中由于建模选择而出现的构件的研究是一个新兴的研究领域。在此之前,这些人工制品在生成文本中出现的范围和程度还没有得到很好的研究。为了更好地理解生成文本模型及其构件,我们提出了一项新的任务,即区分给定模型的几个变体中哪个生成了一段文本,我们进行了一系列诊断测试,以观察建模选择(例如,抽样方法、top-k概率、模型架构等)是否在它们生成的文本中留下可检测的构件。我们的关键发现得到了一组严格实验的支持,即存在这样的构件,并且可以通过单独观察生成的文本推断出不同的建模选择。这表明,神经文本生成器对各种建模选择的敏感度可能比之前认为的要高。

成为VIP会员查看完整内容
17

相关内容

【ACL2020-Allen AI】预训练语言模型中的无监督域聚类
专知会员服务
24+阅读 · 2020年4月7日
【Google】无监督机器翻译,Unsupervised Machine Translation
专知会员服务
36+阅读 · 2020年3月3日
一文详解Google最新NLP模型XLNet
PaperWeekly
18+阅读 · 2019年7月1日
论文浅尝 | 基于知识库的自然语言理解 01#
开放知识图谱
15+阅读 · 2019年2月22日
Google:数据并行对神经网络训练用时的影响
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
Arxiv
7+阅读 · 2017年12月28日
VIP会员
相关资讯
一文详解Google最新NLP模型XLNet
PaperWeekly
18+阅读 · 2019年7月1日
论文浅尝 | 基于知识库的自然语言理解 01#
开放知识图谱
15+阅读 · 2019年2月22日
Google:数据并行对神经网络训练用时的影响
相关论文
微信扫码咨询专知VIP会员