Good quality monolingual word embeddings (MWEs) can be built for languages which have large amounts of unlabeled text. MWEs can be aligned to bilingual spaces using only a few thousand word translation pairs. For low resource languages training MWEs monolingually results in MWEs of poor quality, and thus poor bilingual word embeddings (BWEs) as well. This paper proposes a new approach for building BWEs in which the vector space of the high resource source language is used as a starting point for training an embedding space for the low resource target language. By using the source vectors as anchors the vector spaces are automatically aligned during training. We experiment on English-German, English-Hiligaynon and English-Macedonian. We show that our approach results not only in improved BWEs and bilingual lexicon induction performance, but also in improved target language MWE quality as measured using monolingual word similarity.


翻译:高质量的单语言语言嵌入( MWEs) 可用于为有大量未贴标签文本的语言构建高质量的单语言嵌入(MWEs) 。 MWEs 只能使用几千个字翻译配对来调整到双语空间。 对于低资源语言的培训, MWEs 单语言语言嵌入(MWEs) 导致MWE 质量差, 因而双语语言嵌入( BWEs) 也差。 本文提出了一个新的方法, 用于建设 BWE, 将高资源源语言的矢量空间用作培训低资源目标语言嵌入空间的起点。 通过使用源矢量作为矢量的固定点, 在培训过程中自动调整矢量空间。 我们在英语- 德语、 英语- Hiligaynon 和英语- Macedonian 上进行实验。 我们显示, 我们的方法不仅在改进 BWEs 和双语词汇诱导功能方面, 而且在用单一语言相似性衡量的目标语言质量方面产生更好的目标语言 MWE 。

0
下载
关闭预览

相关内容

分散式表示即将语言表示为稠密、低维、连续的向量。 研究者最早发现学习得到词嵌入之间存在类比关系。比如apple−apples ≈ car−cars, man−woman ≈ king – queen 等。这些方法都可以直接在大规模无标注语料上进行训练。词嵌入的质量也非常依赖于上下文窗口大小的选择。通常大的上下文窗口学到的词嵌入更反映主题信息,而小的上下文窗口学到的词嵌入更反映词的功能和上下文语义信息。
专知会员服务
25+阅读 · 2021年6月17日
【资源】文本风格迁移相关资源汇总
专知
13+阅读 · 2020年7月11日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
弱监督语义分割最新方法资源列表
专知
9+阅读 · 2019年2月26日
NLP - 基于 BERT 的中文命名实体识别(NER)
AINLP
466+阅读 · 2019年2月10日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
5+阅读 · 2019年11月22日
Arxiv
3+阅读 · 2018年8月27日
Phrase-Based & Neural Unsupervised Machine Translation
Arxiv
7+阅读 · 2018年1月30日
VIP会员
相关VIP内容
专知会员服务
25+阅读 · 2021年6月17日
相关资讯
【资源】文本风格迁移相关资源汇总
专知
13+阅读 · 2020年7月11日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
弱监督语义分割最新方法资源列表
专知
9+阅读 · 2019年2月26日
NLP - 基于 BERT 的中文命名实体识别(NER)
AINLP
466+阅读 · 2019年2月10日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员