It has been discovered that latent-Euclidean variational autoencoders (VAEs) admit, in various capacities, Riemannian structure. We adapt these arguments but for complex VAEs with a complex latent stage. We show that complex VAEs reveal to some level Kähler geometric structure. Our methods will be tailored for decoder geometry. We derive the Fisher information metric in the complex case under a latent complex Gaussian regularization with trivial relation matrix. It is well known from statistical information theory that the Fisher information coincides with the Hessian of the Kullback-Leibler (KL) divergence. Thus, the metric Kähler potential relation is exactly achieved under relative entropy. We propose a Kähler potential derivative of complex Gaussian mixtures that has rough equivalence to the Fisher information metric while still being faithful to the underlying Kähler geometry. Computation of the metric via this potential is efficient, and through our potential, valid as a plurisubharmonic (PSH) function, large scale computational burden of automatic differentiation is displaced to small scale. We show that we can regularize the latent space with decoder geometry, and that we can sample in accordance with a weighted complex volume element. We demonstrate these strategies, at the exchange of sample variation, yield consistently smoother representations and fewer semantic outliers.


翻译:已有研究发现,潜在欧几里得变分自编码器(VAEs)在不同程度上承认黎曼结构。我们调整这些论证,但针对具有复潜在空间的复变分自编码器。我们证明复变分自编码器在某种程度上揭示了Kähler几何结构。我们的方法将专门针对解码器几何进行定制。我们在潜在复高斯正则化且关联矩阵平凡的情况下,推导了复情形的Fisher信息度量。从统计信息论中众所周知,Fisher信息与Kullback-Leibler(KL)散度的Hessian矩阵一致。因此,度量Kähler势关系在相对熵下精确实现。我们提出了一种复高斯混合的Kähler势导数,该导数与Fisher信息度量具有粗略等价性,同时仍忠实于底层的Kähler几何。通过该势计算度量是高效的,并且通过我们作为多重次调和(PSH)函数的势,自动微分的大规模计算负担被转移至小规模。我们证明可以用解码器几何正则化潜在空间,并且可以按照加权的复体积元进行采样。我们证明这些策略,以样本变异为交换,能产生更平滑的表示和更少的语义异常值。

0
下载
关闭预览

相关内容

【CVPR2024】掩码自解码器是有效的多任务视觉通用模型
专知会员服务
20+阅读 · 2024年3月16日
【ICML2023】无消息传递的transformer图归纳偏差
专知会员服务
26+阅读 · 2023年6月1日
专知会员服务
16+阅读 · 2021年10月4日
专知会员服务
50+阅读 · 2021年6月2日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
【NeurIPS2019】图变换网络:Graph Transformer Network
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 12月16日
VIP会员
相关VIP内容
【CVPR2024】掩码自解码器是有效的多任务视觉通用模型
专知会员服务
20+阅读 · 2024年3月16日
【ICML2023】无消息传递的transformer图归纳偏差
专知会员服务
26+阅读 · 2023年6月1日
专知会员服务
16+阅读 · 2021年10月4日
专知会员服务
50+阅读 · 2021年6月2日
相关资讯
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
【NeurIPS2019】图变换网络:Graph Transformer Network
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员