每日论文 | 在球形隐藏空间上进行变分自动编码;用奖励改善多跳知识图谱推理;用高效嵌入实现零次学习

2018 年 9 月 5 日 论智

1

Spherical Latent Spaces for Stable Variational Autoencoders

变分自编码器(VAE)在文本处理时的一个特点就是强大的编码器和解码器模型的结合,例如LSTM,只有简单的隐藏式分布。这些模型都有一个困难的优化问题,即有一个不良的局部最优值,其中变分后验总是等于先验,模型根本不使用隐藏变量。在这篇论文中,我们用另一种方法代替隐藏变量,称为von Mises-Fisher分布(vMF),将质量放在超球面单位的表面上。我们证明用这种方法不仅避免了KL崩溃,而且能在多种模型条件下给出更好的可能性。

地址:https://arxiv.org/abs/1808.10805v1

2

Multi-Hop Knowledge Graph Reasoning with Reward Shaping

多跳推理在知识图谱的问答问题中是一种高效的方法,可以通过强化学习设置进行表示,其中基于策略的智能体可以不断推理,直到到达目标。然而,一个未完成的知识图谱环境中,智能体经常会由于训练数据中的漏报接收到低质量的奖励,由此会损害测试中的泛化效果。所以我们提出了采用预训练过的单跳嵌入模型来估计奖励。

地址:https://arxiv.org/abs/1808.10568

3

Towards Effective Deep Embedding for Zero-Shot Learning

零次学习尝试通过虚拟的语义描述识别出从未见过的视觉样本类型,我们假设零次学习的关键是开发一块高效的嵌入空间,其中:1)视觉样本可以根据所属类型紧密地处于语义描述周围;2)不同类别的视觉样本彼此分离。为了这一目的,我们提出了一种简单但是高效的嵌入模型。

地址:https://arxiv.org/abs/1808.10075

登录查看更多
1

相关内容

零次学习是AI识别方法之一。简单来说就是识别从未见过的数据类别,即训练的分类器不仅仅能够识别出训练集中已有的数据类别,还可以对于来自未见过的类别的数据进行区分。这是一个很有用的功能,使得计算机能够具有知识迁移的能力,并无需任何训练数据,很符合现实生活中海量类别的存在形式。
【斯坦福CS520】向量空间中嵌入的知识图谱推理,48页ppt
专知会员服务
104+阅读 · 2020年6月11日
【清华大学】元知识图谱推理
专知
129+阅读 · 2019年9月2日
论文浅尝 | 学习开发知识图谱中的长期关系依赖 - ICML 2019
论文浅尝 | 变分知识图谱推理:在KG中引入变分推理框架
Arxiv
7+阅读 · 2018年8月28日
VIP会员
Top
微信扫码咨询专知VIP会员