We introduce a general framework for approximating regular conditional distributions (RCDs). Our approximations of these RCDs are implemented by a new class of geometric deep learning models with inputs in $\mathbb{R}^d$ and outputs in the Wasserstein-$1$ space $\mathcal{P}_1(\mathbb{R}^D)$. We find that the models built using our framework can approximate any continuous functions from $\mathbb{R}^d$ to $\mathcal{P}_1(\mathbb{R}^D)$ uniformly on compacts, and quantitative rates are obtained. We identify two methods for avoiding the "curse of dimensionality"; i.e.: the number of parameters determining the approximating neural network depends only polynomially on the involved dimension and the approximation error. The first solution describes functions in $C(\mathbb{R}^d,\mathcal{P}_1(\mathbb{R}^D))$ which can be efficiently approximated on any compact subset of $\mathbb{R}^d$. Conversely, the second approach describes sets in $\mathbb{R}^d$, on which any function in $C(\mathbb{R}^d,\mathcal{P}_1(\mathbb{R}^D))$ can be efficiently approximated. Our framework is used to obtain an affirmative answer to the open conjecture of Bishop (1994); namely: mixture density networks are universal regular conditional distributions. The predictive performance of the proposed models is evaluated against comparable learning models on various probabilistic predictions tasks in the context of ELMs, model uncertainty, and heteroscedastic regression. All the results are obtained for more general input and output spaces and thus apply to geometric deep learning contexts.


翻译:我们引入了一个基本框架, 用于匹配定期有条件分布( RCDs ) 。 我们对这些 RCDs的近似值是通过一个新的几何深学习模型来实施的, 投入单位为$\ mathbb{R ⁇ d$, 以及瓦色尔斯坦-1美元空间的输出值$\ mathcal{P ⁇ 1( mathbb{ R ⁇ { R ⁇ d$) 。 我们发现, 使用我们框架构建的模型可以将任何连续函数从$\ mathbb{ R ⁇ d$ 到$\ math{ mindal{ P ⁇ 1} ( mathbb{ r_r\\r ⁇ }R ⁇ D$) 统一在缩放中执行。 我们确定了两种方法来避免“ 维度的诅咒” ; 即: 确定相近度神经网络的参数数量仅取决于所涉尺寸和近差错。 第一个解决方案可以描述 $C( mathb{R} macalalal=cal lideal deal develops) oral demodeal deal deal demodeal: $rmablexr= ass a mess.

0
下载
关闭预览

相关内容

专知会员服务
54+阅读 · 2020年9月7日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
MIT新书《强化学习与最优控制》
专知会员服务
282+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年9月1日
Arxiv
0+阅读 · 2021年8月31日
Arxiv
0+阅读 · 2021年8月31日
VIP会员
相关VIP内容
专知会员服务
54+阅读 · 2020年9月7日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
MIT新书《强化学习与最优控制》
专知会员服务
282+阅读 · 2019年10月9日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员