深度学习自动化的兴趣日益增长,导致了神经体系结构搜索的各种自动化方法的发展。然而,最初的神经架构算法是计算密集型的,需要好几天的GPU时间。训练候选网络是搜索过程中代价最高的步骤。接下来的几个算法提出了在候选网络之间共享参数,而不是从头开始训练每个候选网络。但是这些参数共享算法也有其自身的缺陷。在本教程中,我们将概述一些一次性算法、它们的缺点以及如何对付它们。后来的进步通过使用零样本、少样本和迁移学习等技术训练更少的候选者来加速搜索。通过使用随机初始化的神经网络的一些特性,一些搜索算法能够找到性能良好的模型。有些方法利用了迁移学习,而不是从头开始寻找。在本教程中,我们将介绍几种加速神经体系结构搜索的算法

成为VIP会员查看完整内容
30

相关内容

专知会员服务
20+阅读 · 2021年9月16日
最新《神经架构搜索NAS》报告,附46页ppt与视频
专知会员服务
37+阅读 · 2020年12月30日
《神经架构搜索NAS》最新进展综述
专知会员服务
57+阅读 · 2020年8月12日
Auto-Keras与AutoML:入门指南
云栖社区
18+阅读 · 2019年2月9日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
32+阅读 · 2021年3月8日
VIP会员
相关VIP内容
专知会员服务
20+阅读 · 2021年9月16日
最新《神经架构搜索NAS》报告,附46页ppt与视频
专知会员服务
37+阅读 · 2020年12月30日
《神经架构搜索NAS》最新进展综述
专知会员服务
57+阅读 · 2020年8月12日
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
微信扫码咨询专知VIP会员