We propose a novel theoretical framework of analysis for Generative Adversarial Networks (GANs). We start by pointing out a fundamental flaw in previous theoretical analyses that leads to ill-defined gradients for the discriminator. We overcome this issue which impedes a principled study of GAN training, solving it within our framework by taking into account the discriminator's architecture. To this end, we leverage the theory of infinite-width neural networks for the discriminator via its Neural Tangent Kernel. We provide a characterization of the trained discriminator for a wide range of losses and establish general differentiability properties of the network. Moreover, we derive new insights about the generated distribution's flow during training, advancing our understanding of GAN dynamics. We empirically corroborate these results via a publicly released analysis toolkit based on our framework, unveiling intuitions that are consistent with current GAN practice.


翻译:我们为创世反逆网络(GANs)提出了一个新的理论分析框架。我们首先指出以前理论分析中的一个根本缺陷,它导致歧视者的梯度定义不明确。我们克服了这个问题,这个问题妨碍了对GAN培训进行有原则的研究,通过考虑歧视者的结构来解决该问题。为此,我们利用无限宽线神经网络理论,通过其神经洞穴为歧视者服务。我们为广泛的损失提供了训练有素的歧视者的特点,并建立了该网络的一般差异性特征。此外,我们从培训过程中产生的分配流动中获得了新的洞察力,增进了我们对GAN动态的了解。我们根据我们的框架,通过公开发布的分析工具包,通过展示符合当前GAN实践的直觉,来以经验方式证实这些结果。

0
下载
关闭预览

相关内容

剑桥大学《数据科学: 原理与实践》课程,附PPT下载
专知会员服务
54+阅读 · 2021年1月20日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
14+阅读 · 2021年6月30日
Arxiv
11+阅读 · 2018年3月23日
VIP会员
相关资讯
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员