The combination of numerical integration and deep learning, i.e., ODE-net, has been successfully employed in a variety of applications. In this work, we introduce inverse modified differential equations (IMDE) to contribute to the behaviour and error analysis of discovery of dynamics using ODE-net. It is shown that the difference between the learned ODE and the truncated IMDE is bounded by the sum of learning loss and a discrepancy which can be made sub exponentially small in the data step size. In addition, we deduce that the total error of ODE-net is bounded by the sum of discrete error and learning loss. Furthermore, with the help of IMDE, theoretical results on learning Hamiltonian system are derived. Several experiments are performed to numerically verify our theoretical results.


翻译:数字整合和深层次学习相结合,即ODE-net,已在各种应用中成功应用。在这项工作中,我们引入了反向修改差异方程式(IMDE),以促进对使用ODE-net发现动态的行为和误差分析,并表明,所学的ODE与被截断的IMDE之间的差异受学习损失总和和和数据级数小于指数的差异的制约。此外,我们推断,ODE-net的总误差与离散错误和学习损失之和是密尔顿系统学习理论结果的结合。还进行了数项实验,对我们的理论结果进行数字核查。

0
下载
关闭预览

相关内容

【KDD2021】图神经网络,NUS- Xavier Bresson教授
专知会员服务
67+阅读 · 2021年8月20日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Arxiv
0+阅读 · 2021年9月30日
Arxiv
6+阅读 · 2018年10月3日
VIP会员
相关VIP内容
【KDD2021】图神经网络,NUS- Xavier Bresson教授
专知会员服务
67+阅读 · 2021年8月20日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
相关论文
Top
微信扫码咨询专知VIP会员