随着机器学习模型推理成本的增加,对快速且高效推理的模型需求日益增长。最近,有一种方法通过可微松弛直接学习逻辑门网络。逻辑门网络的推理速度比传统神经网络方法更快,因为它们的推理仅需使用诸如NAND、OR和XOR等逻辑门操作,而这些操作是当前硬件的基本构件,能够高效执行。我们基于这一想法,进行了扩展,加入了深度逻辑门树卷积、逻辑OR池化和残差初始化。这使得逻辑门网络的规模扩展提高了一个数量级以上,并利用了卷积的范式。在CIFAR-10数据集上,我们仅使用6100万个逻辑门达到了86.29%的准确率,性能超过了最新最优(SOTA)方法,同时模型大小缩小了29倍。

成为VIP会员查看完整内容
19

相关内容

【WWW2024】博弈论式反事实解释图神经网络
专知会员服务
32+阅读 · 2024年2月17日
专知会员服务
69+阅读 · 2021年4月27日
【WSDM2021】保存节点相似性的图卷积网络
专知会员服务
41+阅读 · 2020年11月22日
【Twitter】时序图神经网络
专知会员服务
95+阅读 · 2020年10月15日
专知会员服务
24+阅读 · 2020年9月15日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
A Survey of Large Language Models
Arxiv
494+阅读 · 2023年3月31日
Arxiv
25+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【WWW2024】博弈论式反事实解释图神经网络
专知会员服务
32+阅读 · 2024年2月17日
专知会员服务
69+阅读 · 2021年4月27日
【WSDM2021】保存节点相似性的图卷积网络
专知会员服务
41+阅读 · 2020年11月22日
【Twitter】时序图神经网络
专知会员服务
95+阅读 · 2020年10月15日
专知会员服务
24+阅读 · 2020年9月15日
相关资讯
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
相关基金
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
相关论文
微信扫码咨询专知VIP会员