It has been shown that named entity recognition (NER) could benefit from incorporating the long-distance structured information captured by dependency trees. We believe this is because both types of features - the contextual information captured by the linear sequences and the structured information captured by the dependency trees may complement each other. However, existing approaches largely focused on stacking the LSTM and graph neural networks such as graph convolutional networks (GCNs) for building improved NER models, where the exact interaction mechanism between the two types of features is not very clear, and the performance gain does not appear to be significant. In this work, we propose a simple and robust solution to incorporate both types of features with our Synergized-LSTM (Syn-LSTM), which clearly captures how the two types of features interact. We conduct extensive experiments on several standard datasets across four languages. The results demonstrate that the proposed model achieves better performance than previous approaches while requiring fewer parameters. Our further analysis demonstrates that our model can capture longer dependencies compared with strong baselines.


翻译:已经表明,将依赖性树捕获的长距离结构信息纳入名称实体识别(NER)可能有益于将依赖性树获取的长距离结构信息纳入其中。我们认为,这是因为这两种特征 -- -- 线性序列捕获的背景资料和依赖性树获取的结构性信息 -- -- 都可以相互补充;然而,现有方法主要侧重于堆叠LSTM和图形神经网络,如图象变幻网络(GCNs),以建立改进的NER模型,其中两种特征之间的确切互动机制并不十分明确,而且绩效收益似乎并不显著。我们在此工作中提出了一个简单而有力的解决方案,将这两种特征与我们的同步-LSTM(Syn-LSTM)(Syn-LSTM)(Syn-LTM)(Syn-LTM)(Syn-LTM)(Synergize-LTM)(Syn-LTM)(STM)(Syn-LTM)(Syn-LTM)(Syn-LTM(STM)结合起来,这两类特征可以明确反映两种特征的相互作用。我们对这两类特征进行了广泛的实验。我们用四种语言对若干标准数据集进行试验。结果显示,这些模型的实验表明,与先前的模型比以往的参数的参数可以取得更好的效果更好,但需要更少。结果则需要更少。我们进一步分析表明我们的模型可以比以往的参数更强的参照性能更强的参照性能。我们的模型可以捕。我们的模型可以捕。我们。我们的模型可以捕得得更远。我们。我们。我们的模型比得更强的基线更远。我们进一步的分析表明我们的模型可以捕。我们进一步分析表明我们的模型比得。

0
下载
关闭预览

相关内容

Python计算导论,560页pdf,Introduction to Computing Using Python
专知会员服务
74+阅读 · 2020年5月5日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
别说还不懂依存句法分析
人工智能头条
23+阅读 · 2019年4月8日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
最佳实践:深度学习用于自然语言处理(三)
待字闺中
3+阅读 · 2017年8月20日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
5+阅读 · 2021年6月3日
Arxiv
5+阅读 · 2019年11月22日
VIP会员
相关VIP内容
Python计算导论,560页pdf,Introduction to Computing Using Python
专知会员服务
74+阅读 · 2020年5月5日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
别说还不懂依存句法分析
人工智能头条
23+阅读 · 2019年4月8日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
最佳实践:深度学习用于自然语言处理(三)
待字闺中
3+阅读 · 2017年8月20日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员