A key assumption in the theory of nonlinear adaptive control is that the uncertainty of the system can be expressed in the linear span of a set of known basis functions. While this assumption leads to efficient algorithms, it limits applications to very specific classes of systems. We introduce a novel nonparametric adaptive algorithm that estimates an infinite-dimensional density over parameters online to learn an unknown dynamics in a reproducing kernel Hilbert space. Surprisingly, the resulting control input admits an analytical expression that enables its implementation despite its underlying infinite-dimensional structure. While this adaptive input is rich and expressive - subsuming, for example, traditional linear parameterizations - its computational complexity grows linearly with time, making it comparatively more expensive than its parametric counterparts. Leveraging the theory of random Fourier features, we provide an efficient randomized implementation that recovers the complexity of classical parametric methods while provably retaining the expressivity of the nonparametric input. In particular, our explicit bounds only depend polynomially on the underlying parameters of the system, allowing our proposed algorithms to efficiently scale to high-dimensional systems. As an illustration of the method, we demonstrate the ability of the randomized approximation algorithm to learn a predictive model of a 60-dimensional system consisting of ten point masses interacting through Newtonian gravitation. By reinterpretation as a gradient flow on a specific loss, we conclude with a natural extension of our kernel-based adaptive algorithms to deep neural networks. We show empirically that the extra expressivity afforded by deep representations can lead to improved performance at the expense of closed-loop stability that is rigorously guaranteed and consistently observed for kernel machines.


翻译:非线性适应性控制理论中的一个关键假设是,系统的不确定性可以在一组已知基本功能的线性范围内表现为系统的不确定性。 虽然这一假设导致高效算法, 但它将应用限制在非常具体的系统类别。 我们引入了一种新的非线性适应性算法, 对在线参数的无限维密度进行估算, 以在复制的内核Hilbert空间中学习未知的动态。 令人惊讶的是, 由此产生的控制输入允许一种分析表达方式, 使系统得以实施, 尽管其内在的无限结构是无限的。 虽然这种适应性输入是丰富和直线性表达式的, 例如, 传统的线性线性参数化(其计算复杂性随着时间而线性增长), 但它的计算复杂性会随着时间而直线性增长, 使得其相对特定的系统应用成本性。 利用随机的Fourtierier的理论, 我们提供了一种有效的随机随机的操作, 恢复了传统的光度输入的精度, 特别是, 我们的直径直线性连接只能取决于系统的基本参数, 使我们拟议的直径直径直线性测的直线性计算到高度的直径直径直线性计算模型。 我们通过从60的直径向的直径向方向的直径向上演演演的直径直判能力的能力, 我们通过一个直判法的直判的直径直径直径直判法的直判的直判的直判能力, 我们通过直判的直判的直判法,, 向的直判的直判法的直判法, 向的直判法性算法的直判的直判法性判的直判法, 向的直判法能力在60的直判法的直判法的直判法, 向的直判的直判的直判的直判法。

0
下载
关闭预览

相关内容

Linux导论,Introduction to Linux,96页ppt
专知会员服务
82+阅读 · 2020年7月26日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
VIP会员
相关资讯
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员