We propose Characteristic Neural Ordinary Differential Equations (C-NODEs), a framework for extending Neural Ordinary Differential Equations (NODEs) beyond ODEs. While NODEs model the evolution of the latent state as the solution to an ODE, the proposed C-NODE models the evolution of the latent state as the solution of a family of first-order quasi-linear partial differential equations (PDE) on their characteristics, defined as curves along which the PDEs reduce to ODEs. The reduction, in turn, allows the application of the standard frameworks for solving ODEs to PDE settings. Additionally, the proposed framework can be cast as an extension of existing NODE architectures, thereby allowing the use of existing black-box ODE solvers. We prove that the C-NODE framework extends the classical NODE by exhibiting functions that cannot be represented by NODEs but are representable by C-NODEs. We further investigate the efficacy of the C-NODE framework by demonstrating its performance in many synthetic and real data scenarios. Empirical results demonstrate the improvements provided by the proposed method for CIFAR-10, SVHN, and MNIST datasets under a similar computational budget as the existing NODE methods.


翻译:我们提议了典型神经普通差异(C-NODEs),这是将神经普通差异(NODEs)扩展至脱氧核糖核糖核酸之外的一个框架。虽然脱氧核糖核糖核酸模拟了潜在状态的演变,作为解决脱氧核糖核酸的解决方案,但拟议的C-NODE模式是潜在状态的演变,作为一阶准线性局部差异方程(PDE)组合的特征的解决方案,被界定为脱氧核糖核酸的曲线。我们进一步调查了C-NODE框架的功效,展示了它在许多合成和真实数据情景中的性能。此外,拟议的框架可以作为现有脱氧核糖核酸结构的延伸,从而允许使用现有的黑盒子脱氧核糖核糖核糖核酸解解解溶解器。我们证明,C-NODE框架通过展示无法由脱氧核糖核糖核糖核酸所代表但可由C-NODEs代表的功能。我们进一步调查了C-NODE框架的功效,展示了它在许多合成和真实数据假设中的表现。EPRIcalalal 显示,根据拟议的预算方法提供改进了CMARDMER的类似计算方法、S-10。

0
下载
关闭预览

相关内容

【Cell】神经算法推理,Neural algorithmic reasoning
专知会员服务
29+阅读 · 2021年7月16日
论文浅尝 | GMNN: Graph Markov Neural Networks
开放知识图谱
20+阅读 · 2020年2月14日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2022年1月26日
Arxiv
6+阅读 · 2018年10月3日
VIP会员
相关资讯
论文浅尝 | GMNN: Graph Markov Neural Networks
开放知识图谱
20+阅读 · 2020年2月14日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员