We show that forward mode automatic differentiation and symbolic differentiation are equivalent in the sense that they both perform the same operations when computing derivatives. This is in stark contrast to the common claim that they are substantially different. The difference is often illustrated by claiming that symbolic differentiation suffers from "expression swell" whereas automatic differentiation does not. Here, we show that this statement is not true. "Expression swell" refers to the phenomenon of a much larger representation of the derivative as opposed to the representation of the original function.


翻译:我们发现,前方模式自动区别和象征性区别等同,因为它们在计算衍生物时都执行同样的操作,这与它们大相径庭的共同主张形成鲜明对照。这种区别常常通过声称象征性区别有“表情膨胀”而自动区别并不明显来说明。在这里,我们证明这种说法不真实。“表情膨胀”是指衍生物代表比最初功能代表大得多的现象。

0
下载
关闭预览

相关内容

强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
已删除
将门创投
7+阅读 · 2020年3月13日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2020年9月11日
Arxiv
6+阅读 · 2018年10月3日
Arxiv
3+阅读 · 2018年6月24日
VIP会员
相关资讯
已删除
将门创投
7+阅读 · 2020年3月13日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Arxiv
0+阅读 · 2020年9月11日
Arxiv
6+阅读 · 2018年10月3日
Arxiv
3+阅读 · 2018年6月24日
Top
微信扫码咨询专知VIP会员