Analysis of repeated measurements for a sample of subjects has been intensively studied with several important branches developed, including longitudinal/panel/functional data analysis, while nonparametric regression of the mean function serves as a cornerstone that many statistical models are built upon. In this work, we investigate this problem using fully connected deep neural network (DNN) estimators with flexible shapes. A comprehensive theoretical framework is established by adopting empirical process techniques to tackle clustered dependence. We then derive the nearly optimal convergence rate of the DNN estimators in H\"older smoothness space, and illustrate the phase transition phenomenon inherent to repeated measurements and its connection to the curse of dimensionality. Furthermore, we study the function spaces with low intrinsic dimensions, including the hierarchical composition model, anisotropic H\"older smoothness and low-dimensional support set, and also obtain new approximation results and matching lower bounds to demonstrate the adaptivity of the DNN estimators for circumventing the curse of dimensionality.


翻译:与几个重要分支一起,对反复测量抽样科目的分析进行了深入研究,这些分支包括纵向/面板/功能数据分析,而中值函数的非参数回归是许多统计模型赖以建立的基石。在这项工作中,我们使用完全相连的、具有灵活形状的深神经网络测量仪来调查这一问题。通过采用经验过程技术来解决集群依赖问题,建立了一个全面的理论框架。然后,我们得出H\"老光滑空间"中DNN测量员的近乎最佳的趋同率,并说明了重复测量所固有的阶段过渡现象及其与维度诅咒的联系。此外,我们用低内在层面研究功能空间,包括等级构成模型、厌异性H\"老光滑和低维度支持装置,并获得新的近似结果和匹配较低界限,以显示DNN的测量员绕过维度诅咒的适应性。</s>

0
下载
关闭预览

相关内容

不可错过!《机器学习100讲》课程,UBC Mark Schmidt讲授
专知会员服务
76+阅读 · 2022年6月28日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
13+阅读 · 2019年1月26日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员