我们使用了一个被称为“Frankenstein博士”的工具集来分析深度神经网络中表征的相似性。有了这个工具集,我们的目标是匹配两个训练神经网络的给定层的激活,通过拼接层将它们连接起来。我们证明,在具有相同架构但不同初始化的深度卷积神经网络中出现的内部表示,即使使用一个单一的仿射拼接层,也能以惊人的高精确度匹配。我们从几种可能的线性变换中选择拼接层,并研究它们的性能和性质。匹配表示的任务与相似度的概念密切相关。在此工具集中,我们还提供了一个关于神经网络表示的相似性指数的最新研究方向的新观点:任务性能的视角。

https://www.zhuanzhi.ai/paper/107ba9d44b4b31e406cd14302c2e885f

成为VIP会员查看完整内容
27

相关内容

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。
专知会员服务
10+阅读 · 2021年10月17日
专知会员服务
10+阅读 · 2021年10月6日
【NeurIPS2020】可靠图神经网络鲁棒聚合
专知会员服务
20+阅读 · 2020年11月6日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
23+阅读 · 2020年10月13日
基于表示模型的文本匹配方法
AINLP
7+阅读 · 2020年5月8日
【文本匹配】Question Answering论文
深度学习自然语言处理
8+阅读 · 2020年4月20日
谈谈文本匹配和多轮检索
AINLP
5+阅读 · 2020年3月12日
如何匹配两段文本的语义?
夕小瑶的卖萌屋
3+阅读 · 2018年6月12日
Arxiv
9+阅读 · 2021年2月8日
VIP会员
相关VIP内容
专知会员服务
10+阅读 · 2021年10月17日
专知会员服务
10+阅读 · 2021年10月6日
【NeurIPS2020】可靠图神经网络鲁棒聚合
专知会员服务
20+阅读 · 2020年11月6日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
23+阅读 · 2020年10月13日
相关资讯
基于表示模型的文本匹配方法
AINLP
7+阅读 · 2020年5月8日
【文本匹配】Question Answering论文
深度学习自然语言处理
8+阅读 · 2020年4月20日
谈谈文本匹配和多轮检索
AINLP
5+阅读 · 2020年3月12日
如何匹配两段文本的语义?
夕小瑶的卖萌屋
3+阅读 · 2018年6月12日
微信扫码咨询专知VIP会员