【ACL2020】五篇与文本理解相关的论文

2020 年 10 月 11 日 深度学习自然语言处理

点击上方，选择星标或置顶，每天给你送干货！

阅读大概需要9分钟

跟随小博主，每天进步一丢丢

自然语言处理领域顶级会议 ACL 2020 于 7 月 5 日至 10 日在线上举行。本届 ACL 共接收论文 779 篇，接收率 25.2%。今年腾讯公司共有 30 篇论文入选，位列国内业界 AI 研究机构首位。

文本理解

文本理解是腾讯 AI Lab 重点关注的研究方向，自然语言理解系统 TexSmart 就是腾讯 AI Lab 在该领域实现的一项重要应用。本届 ACL，腾讯 AI Lab 继续呈现了在这一领域的最新探索成果，其中包括对长文本阅读理解的新解决方案、从高资源语言向低资源语言的泛化研究、基于对话的关系抽取以及新型关键词生成技术。

1. 长文阅读理解中的循环分块机制

Recurrent Chunking Mechanisms for Long-Text Machine Reading Comprehension

论文：https://arxiv.org/abs/2005.08056

本文由腾讯 AI Lab 独立完成，提出了一种可用以提升长文本阅读理解任务的循环分块机制，并有可能为其它类型的长文本任务带来启发。

本文重点讨论了对话型机器阅读理解（MRC）问题，其中模型的输入可能是冗长的文档和一系列相互关联的问题。为了处理长输入，以前的方法通常将它们分成等距段，并根据每个块独立地预测答案，而不考虑其它块的信息。结果，它们可能会形成无法覆盖完整答案或围绕问题答案所需正确答案的上下文不足的块。此外，它们的能力往往不足，无法很好地回答需要跨块信息的问题。本文提出让模型通过强化学习以更灵活的方式学习分块：模型可以确定将在任一方向处理的下一个分块。我们还应用了循环机制，以允许在块之间传输信息。我们在两个对话型 MRC 任务（CoQA和QuAC）上进行了实验，结果证明了新提出的循环式分块机制的有效性。我们可以获得的块更有可能包含完整的答案，同时能为真实的答案提供足够的上下文，以便更好地进行预测。

2. 基于元学习的低资源语言上下位预测的方法

Hypernymy Detection for Low-Resource Languages via Meta Learning

论文：https://www.aclweb.org/anthology/2020.acl-main.336/

代码：https://github.com/ccclyu/metaHypernymy

本文由腾讯 AI Lab 主导，与香港科技大学合作完成，提出了一种通过元学习实现低资源语言上下位预测。该方法可用于指导多语言、低资源的上下位预测的实现，并能给词汇级别的语义理解提供启发。

上下位预测是语义理解中重要的子任务，在问答系统和知识挖掘等任务中发挥着重要作用。但目前希腊语和荷兰语等低资源语言的上下位预测缺乏足够用于监督训练的标注数据。本文提出和探讨的问题是如何利用高资源语言（比如英语）的丰富数据帮助低资源语言的泛化学习。其中论文的基本假设是来自于人类对于概念认知的语言无关性，例如苹果和 apple 指的是同样的概念。文中设计实验分别比较了跨语言训练、多语言联合训练和元学习这三种不同的混合训练方式，结果表明简单的多语言联合训练并不会帮助低资源语言的学习，但论文中首次提出的元学习的方式可以通过学到一个适用于多种语言的模型初始化来有效地避免模型过拟合小数据，从而可实现在低资源语言上下位预测任务上的性能提升。

3. 基于对话的关系抽取

Dialogue-Based Relation Extraction

论文：https://arxiv.org/abs/2004.08056

代码：https://github.com/nlpdata/dialogre

数据集：https://dataset.org/dialogre

本文由腾讯 AI Lab 主导，与康奈尔大学合作完成，本文首次定义了基于对话的关系抽取任务并填补了对话型通用关系抽取数据资源的空白，在这一未被充分研究的领域走出了第一步。

本文提出了第一个标注的基于对话的关系抽取（RE）数据集DialogRE，旨在支持对出现在对话中的两个元素之间的关系进行预测。由于大多数事实跨越多个句子，我们进一步提供DialogRE作为研究跨句RE的平台。基于对对话型RE任务与传统RE任务之间的异同的仔细分析，我们提出说话者相关的信息在该任务中起着至关重要的作用。考虑到对话中交流的及时性，我们设计了一种新的指标来评估对话环境中 RE 方法的性能，并调研了 DialogRE 上几种具有代表性的RE方法的性能。实验结果表明，在表现最佳的基线模型上显示识别说话人元素在两种评价指标上都能带来性能提高。

DialogRE 数据集中的一段对话和相关实例

4. 图到文本生成中的结构化信息保留

Structural Information Preserving for Graph-to-Text Generation

论文：https://www.aclweb.org/anthology/2020.acl-main.712/

代码：https://github.com/Soistesimmer/AMR-multiview

本文由腾讯 AI Lab 主导，与厦门大学合作完成，文中提出了一种多视角框架，通过自编码学习丰富模型训练。

图到文本生成任务的目标是产生保留输入图所蕴含语义的句子。该任务存在一个关键缺陷：当前的模型在生成输出时，可能会弄乱甚至丢弃输入图的核心结构信息。本文提出利用更丰富的训练信号来解决此问题，这些信号可以指导我们的模型遵循输入的图结构信息。特别是，我们采用了两种类型的辅助训练信号，每种信号分别关注输入图的不同方面（也称为视图）。通过辅助信号的反向传播，以通过多任务训练更好地校准我们的模型。在两个用于图形到文本生成的基准上进行的实验表明，新提出的方法在最新的基准上是有效的。

使用多视角自动编码损失的训练框架

5. 基于多任务训练框架的联合零指代还原和消解训练

ZPR2: Joint Zero Pronoun Recovery and Resolutionusing Multi-Task Learning and BERT

论文：https://www.aclweb.org/anthology/2020.acl-main.482

代码：https://github.com/freesunshine0316/lab-zp-joint

本文由腾讯 AI Lab 主导完成，提出了一种新型的零指代消解和还原的联合训练框架。

零代词的恢复和消解分别旨在恢复被丢弃的代词并指出其所指短语。本文提出通过同时解决这两个任务来更好地探索它们的交互，而先前的工作将它们独立对待。对于零代词消解，我们在更现实的环境中研究了此任务——在该环境下没有正确的句法树或只有自动树可用，而大多数先前的工作都是假设存在正确的句法树。在两个数据集上的测试表明，联合建模明显优于我们的基准系统，而该基准已经超越了现有技术水平。

模型架构，其中使用了 BERT 来表征每个包含 N 个词的输出句子以提供共享的特征

6. 基于互斥分层解码策略的深度关键词生成

Exclusive Hierarchical Decoding for Deep Keyphrase Generation

论文：https://arxiv.org/abs/2004.08511

本文由腾讯 AI Lab 与香港中文大学合作完成，提出了一个简单有效的层次解码策略，可以一次性生成多样且准确的关键词。

关键词生成（KG）的目的是将文档的主要思想概括成一组关键词。最近在这个问题中引入了一种新的设置：给定一个文档，模型需要预测一组关键词，并同时确定要生成的关键词的适当数量。此前的工作在此设置中采用了一种顺序解码过程来生成关键词。然而，这样的解码方法忽略了文档中的关键词中存在的内在层次性。此外，以前的工作往往会产生重复的关键词，进而造成时间和计算资源浪费。为了克服这些局限性，本文提出了一种互斥分层解码框架，该框架包括一个分层解码过程和软性或硬性互斥机制。分层解码过程是为了显式地建模一个关键词集合的分层构成性。软互斥机制和硬互斥机制都会在一定的窗口大小内保持对之前预测的关键词的跟踪，以增强生成的关键词的多样性。我们在多个 KG 基准数据集上进行了大量实验，结果证明新提出的方法可以有效生成更少重复和更准确的关键词。

新提出的互斥分层解码框架示意图。h_i 是第 i 个短语级解码步骤的隐藏状态，h_{i,j} 是对应的第 j 个词级解码隐藏状态

使用互斥损失的训练算法

使用互斥搜索的推理算法

来自腾讯AI Lab微信（tencent_ailab）

   
   
     
    
    
      

   
   
     
   
   
     
    
    
      下载一：中文版！学习TensorFlow、PyTorch、机器学习、深度学习和数据结构五件套！
   
   
     
   
   
     
    
    
      
    
    
      
    
    
      
   
   
     
   
   
     
    
    
      后台回复【五件套】
   
   
     


   
   
     
    
    
      下载二：南大模式识别PPT
   
   
     
   
   
     
    
    
      
   
   
     
   
   
     
    
    
      后台回复【南大模式识别】
   
   
     
  
  
    
   
   
     
   
   
     

  
  
    
  
  
    
   
   
     

  
  
    
  
  
    
   
   
     
    
    
      
     
     
       
      
      
        
       
       
          
          
 
         
       
       
         说个正事哈

       
       
          
          
 
         
      
      
        
     
     
       
     
     
       

    
    
      
    
    
      由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：
    
    
      （1）点击页面最上方“深度学习自然语言处理”，进入公众号主页。
    
    
      （2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。

    
    
      感谢支持，比心。
    
    
      

    
    
      

    
    
      
     
     
       投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

    
    
      
    
    
      
     
     
       方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。
    
    
      
    
    
      
     
     
       
    
    
      
    
    
      
     
     
       记得备注呦
    
    
      
    
    
      
     
     
       

    
    
      
   
   
     
  
  
    
  
  
    
   
   
     
    
    
      
     
     
       推荐两个专辑给大家：
    
    
      
    
    
      
     
     
       专辑 | 李宏毅人类语言处理2020笔记
    
    
      
    
    
      
     
     
       专辑 | NLP论文解读
    
    
      
    
    
      
     
     
       专辑 | 情感分析
     
     
       

    
    
      
    
    
      
     
     
       

    
    
      
    
    
      
整理不易，还望给个在看！