With the increased interest in machine learning, and deep learning in particular, the use of automatic differentiation has become more wide-spread in computation. There have been two recent developments to provide the theoretical support for this types of structure. One approach, due to Abadi and Plotkin, provides a simple differential programming language. Another approach is the notion of a reverse differential category. In the present paper we bring these two approaches together. In particular, we show how an extension of reverse derivative categories models Abadi and Plotkin's language, and describe how this categorical model allows one to consider potential improvements to the operational semantics of the language.


翻译:随着对机器学习的兴趣增加,特别是深思熟虑,自动差别化的使用在计算中已变得更加广泛,最近出现了两个事态发展,为这种类型的结构提供理论支持,一种是阿巴迪和普洛特金的方法,一种是简单的差别化编程语言,另一种是反向差别分类的概念,在本文件中,我们把这两种方法结合起来,特别是,我们展示了反向衍生类模式阿巴迪和普洛特金语言的扩展,并描述了这一绝对模式如何允许人们考虑对语言的操作语义进行可能的改进。

0
下载
关闭预览

相关内容

专知会员服务
45+阅读 · 2020年10月31日
知识图谱推理,50页ppt,Salesforce首席科学家Richard Socher
专知会员服务
111+阅读 · 2020年6月10日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】视频目标分割基础
机器学习研究会
9+阅读 · 2017年9月19日
VIP会员
相关VIP内容
专知会员服务
45+阅读 · 2020年10月31日
知识图谱推理,50页ppt,Salesforce首席科学家Richard Socher
专知会员服务
111+阅读 · 2020年6月10日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
相关资讯
Top
微信扫码咨询专知VIP会员