最近一年以来蓬勃发展的自然语言处理新范式“提示学习”(Prompt Learning),通过构造提示模板和标签映射,显著提升了模型的少样本、跨领域、多任务等能力。在提示学习中,如何针对具体任务,构建出最合适的模板提示和标签映射组合,是提升任务性能的关键。因此,通过植入相关的任务和领域知识来构建提示模板,以“知识提示”指导预训练语言模型,可以提升模型对任务和领域的感知,充分的激发预训练语言模型的潜力,提升任务性能。本文梳理了有关“知识提示”的学习方法,并介绍了被TheWebConf(WWW)2022录用的两个新工作:OntoPrompt和KnowPrompt。其中, KnowPrompt在提示学习框架中引入实体关系约束,将知识图谱中的实体关系植入到提示学习中;OntoPrompt则实现了将本体知识(Ontology)选择性植入提示学习中来解决少样本学习问题。

成为VIP会员查看完整内容
48

相关内容

【CVPR 2022】视觉提示调整(VPT),Vision Prompt Tuning
专知会员服务
32+阅读 · 2022年3月12日
专知会员服务
39+阅读 · 2021年5月16日
【AAAI2021】知识图谱增强的预训练模型的生成式常识推理
EMNLP 2021 最新综述:语言模型中的关系性知识
PaperWeekly
0+阅读 · 2021年12月3日
别再Prompt了!谷歌提出tuning新方法,强力释放GPT-3潜力!
夕小瑶的卖萌屋
0+阅读 · 2021年9月7日
NLP新宠 | 浅谈Prompt的前世今生
机器学习与推荐算法
14+阅读 · 2021年8月16日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
15+阅读 · 2019年11月26日
VIP会员
相关资讯
EMNLP 2021 最新综述:语言模型中的关系性知识
PaperWeekly
0+阅读 · 2021年12月3日
别再Prompt了!谷歌提出tuning新方法,强力释放GPT-3潜力!
夕小瑶的卖萌屋
0+阅读 · 2021年9月7日
NLP新宠 | 浅谈Prompt的前世今生
机器学习与推荐算法
14+阅读 · 2021年8月16日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员