This paper presents our systems for the three Subtasks of SemEval Task4: Reading Comprehension of Abstract Meaning (ReCAM). We explain the algorithms used to learn our models and the process of tuning the algorithms and selecting the best model. Inspired by the similarity of the ReCAM task and the language pre-training, we propose a simple yet effective technology, namely, negative augmentation with language model. Evaluation results demonstrate the effectiveness of our proposed approach. Our models achieve the 4th rank on both official test sets of Subtask 1 and Subtask 2 with an accuracy of 87.9% and an accuracy of 92.8%, respectively. We further conduct comprehensive model analysis and observe interesting error cases, which may promote future researches.


翻译:本文件介绍了我们用于SemEval任务4的三个子任务4的系统:阅读抽象含义理解(ReCAM),我们解释了用于学习我们模型和算法调整过程以及选择最佳模型的算法。受RECAM任务和语言培训前任务相似性的影响,我们提出了一个简单而有效的技术,即:与语言模型负增殖。评价结果显示了我们拟议方法的有效性。我们的模型在SubTask 1和Subtask 2两个正式测试组中分别达到第4级,精确度分别为87.9%和92.8%。我们进一步进行了全面的模型分析,并观察了有趣的错误案例,这可能会促进未来的研究。

0
下载
关闭预览

相关内容

专知会员服务
123+阅读 · 2020年12月9日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
推荐|深度强化学习聊天机器人(附论文)!
全球人工智能
4+阅读 · 2018年1月30日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
Arxiv
0+阅读 · 2021年4月15日
VIP会员
相关VIP内容
专知会员服务
123+阅读 · 2020年12月9日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
相关资讯
Top
微信扫码咨询专知VIP会员