User-generated content (UGC) on social media can act as a key source of information for emergency responders in crisis situations. However, due to the volume concerned, computational techniques are needed to effectively filter and prioritise this content as it arises during emerging events. In the literature, these techniques are trained using annotated content from previous crises. In this paper, we investigate how this prior knowledge can be best leveraged for new crises by examining the extent to which crisis events of a similar type are more suitable for adaptation to new events (cross-domain adaptation). Given the recent successes of transformers in various language processing tasks, we propose CAST: an approach for Crisis domain Adaptation leveraging Sequence-to-sequence Transformers. We evaluate CAST using two major crisis-related message classification datasets. Our experiments show that our CAST-based best run without using any target data achieves the state of the art performance in both in-domain and cross-domain contexts. Moreover, CAST is particularly effective in one-to-one cross-domain adaptation when trained with a larger language model. In many-to-one adaptation where multiple crises are jointly used as the source domain, CAST further improves its performance. In addition, we find that more similar events are more likely to bring better adaptation performance whereas fine-tuning using dissimilar events does not help for adaptation. To aid reproducibility, we open source our code to the community.


翻译:社交媒体上的用户生成内容(UGC)在社交媒体上可以作为危机情况下应急反应人员的主要信息来源。然而,由于数量庞大,需要计算技术来有效过滤和优先排序新事件产生的内容。在文献中,这些技术是使用前几次危机附加说明的内容来培训的。在本文中,我们通过审查类似类型的危机事件更适合适应新事件(跨领域适应)的程度,调查如何最佳地利用这些先前的知识来应对新危机。鉴于最近变异器在各种语言处理任务中的成功,我们建议CAST:危机域适应办法,利用序列到序列变异器。我们用两种与危机有关的重大信息分类数据集来评估CAST。我们的实验表明,我们基于CAST的最佳运行方式,没有使用任何目标数据,就能在区域和跨领域实现艺术表现的状态。此外,CAST在接受更大语言模型培训时,对跨来源的适应特别有效,我们建议CAST:在多个危机的调整中,我们不用更精确地使用更精确的系统来改进业绩。

0
下载
关闭预览

相关内容

专知会员服务
46+阅读 · 2021年9月3日
最新《Transformers模型》教程,64页ppt
专知会员服务
319+阅读 · 2020年11月26日
专知会员服务
124+阅读 · 2020年9月8日
耶鲁大学《分布式系统理论》笔记,491页pdf
专知会员服务
45+阅读 · 2020年7月29日
专知会员服务
61+阅读 · 2020年3月19日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
CCF推荐 | 国际会议信息6条
Call4Papers
9+阅读 · 2019年8月13日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
Arxiv
8+阅读 · 2020年8月30日
Music Transformer
Arxiv
5+阅读 · 2018年12月12日
VIP会员
相关VIP内容
Top
微信扫码咨询专知VIP会员