Deep generative models have been demonstrated as state-of-the-art density estimators. Yet, recent work has found that they often assign a higher likelihood to data from outside the training distribution. This seemingly paradoxical behavior has caused concerns over the quality of the attained density estimates. In the context of hierarchical variational autoencoders, we provide evidence to explain this behavior by out-of-distribution data having in-distribution low-level features. We argue that this is both expected and desirable behavior. With this insight in hand, we develop a fast, scalable and fully unsupervised likelihood-ratio score for OOD detection that requires data to be in-distribution across all feature-levels. We benchmark the method on a vast set of data and model combinations and achieve state-of-the-art results on out-of-distribution detection.


翻译:深度基因模型被证明为最先进的密度估计模型。然而,最近的工作发现,它们往往更可能从培训分布之外获得数据。这种看似自相矛盾的行为引起了对所达到密度估计质量的担忧。在等级差异性自动编码器方面,我们提供了证据来解释以分布中具有低度特征的超出分配数据来解释这种行为。我们争辩说,这是预期和可取的行为。我们掌握了这种洞察力,我们为OOD探测开发了快速、可扩展和完全不受监督的概率比值,这需要在所有地貌层次上进行数据分配。我们将这种方法以大量数据和模型组合为基础,并在分配外检测中实现最新的结果。

1
下载
关闭预览

相关内容

专知会员服务
52+阅读 · 2021年8月8日
不可错过!华盛顿大学最新《生成式模型》课程,附PPT
专知会员服务
64+阅读 · 2020年12月11日
【2020新书】概率机器学习,附212页pdf与slides
专知会员服务
111+阅读 · 2020年11月12日
【机器学习术语宝典】机器学习中英文术语表
专知会员服务
61+阅读 · 2020年7月12日
吴恩达新书《Machine Learning Yearning》完整中文版
专知会员服务
147+阅读 · 2019年10月27日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
105+阅读 · 2019年10月9日
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
102+阅读 · 2020年3月4日
Seeing What a GAN Cannot Generate
Arxiv
8+阅读 · 2019年10月24日
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
A Probe into Understanding GAN and VAE models
Arxiv
9+阅读 · 2018年12月13日
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
8+阅读 · 2018年9月25日
Arxiv
3+阅读 · 2018年1月10日
Arxiv
27+阅读 · 2017年12月6日
VIP会员
相关VIP内容
相关资讯
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Arxiv
102+阅读 · 2020年3月4日
Seeing What a GAN Cannot Generate
Arxiv
8+阅读 · 2019年10月24日
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
A Probe into Understanding GAN and VAE models
Arxiv
9+阅读 · 2018年12月13日
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
8+阅读 · 2018年9月25日
Arxiv
3+阅读 · 2018年1月10日
Arxiv
27+阅读 · 2017年12月6日
Top
微信扫码咨询专知VIP会员