Neural networks are powerful models that have a remarkable ability to extract patterns that are too complex to be noticed by humans or other machine learning models. Neural networks are the first class of models that can train end-to-end systems with large learning capacities. However, we still have the difficult challenge of designing the neural network, which requires human experience and a long process of trial and error. As a solution, we can use a neural architecture search to find the best network architecture for the task at hand. Existing NAS algorithms generally evaluate the fitness of a new architecture by fully training from scratch, resulting in the prohibitive computational cost, even if operated on high-performance computers. In this paper, an end-to-end offline performance predictor is proposed to accelerate the evaluation of sampled architectures. Index Terms- Learning Curve Prediction, Neural Architecture Search, Reinforcement Learning.


翻译:神经网络是强大的模型,具有惊人的提取模式的能力,这些模式太复杂,无法被人类或其他机器学习模式所注意到。神经网络是能够培训具有巨大学习能力的端到端系统的第一流模型。然而,我们仍面临设计神经网络的艰巨挑战,这需要人的经验和漫长的试验和错误过程。作为一个解决方案,我们可以使用神经结构搜索来寻找当前任务的最佳网络结构。现有的NAS算法一般通过从零开始充分培训来评估新结构的适合性,导致过高的计算成本,即使操作的是高性能计算机。本文建议用一个端到端的离线性性业绩预测器来加速对抽样结构的评估。索引术语预测、神经结构搜索、强化学习。

0
下载
关闭预览

相关内容

【如何做研究】How to research ,22页ppt
专知会员服务
114+阅读 · 2021年4月17日
专知会员服务
61+阅读 · 2020年3月19日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Neural Architecture Search without Training
Arxiv
10+阅读 · 2021年6月11日
Arxiv
8+阅读 · 2020年6月15日
VIP会员
相关VIP内容
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
相关论文
Top
微信扫码咨询专知VIP会员