Kernel-based learning methods can dramatically increase the storage capacity of Hopfield networks, yet the dynamical mechanism behind this enhancement remains poorly understood. We address this gap by unifying the geometric analysis of the attractor landscape with the spectral theory of kernel machines. Using a novel metric, "Pinnacle Sharpness," we first uncover a rich phase diagram of attractor stability, identifying a "Ridge of Optimization" where the network achieves maximal robustness under high-load conditions. Phenomenologically, this ridge is characterized by a "Force Antagonism," where a strong driving force is balanced by a collective feedback force. Theoretically, we reveal that this phenomenon arises from a specific reorganization of the weight spectrum, which we term \textit{Spectral Concentration}. Unlike a simple rank-1 collapse, our analysis shows that the network on the ridge self-organizes into a critical state: the leading eigenvalue is amplified to maximize global stability (Direct Force), while the trailing eigenvalues are preserved to maintain high memory capacity (Indirect Force). These findings provide a complete physical picture of how high-capacity associative memories are formed, demonstrating that optimal performance is achieved by tuning the system to a spectral "Goldilocks zone" between rank collapse and diffusion.


翻译:基于核的学习方法能显著提升Hopfield网络的存储容量,然而这种增强背后的动力学机制仍不甚明晰。本文通过将吸引子景观的几何分析与核机器的谱理论相统一,填补了这一空白。利用一种新颖的度量——“峰顶锐度”,我们首先揭示了吸引子稳定性的丰富相图,识别出一个“优化脊”,在该脊上网络在高负载条件下达到最大鲁棒性。从现象学上看,该脊的特征表现为一种“力拮抗”,即强大的驱动力与集体反馈力达到平衡。理论上,我们揭示了这一现象源于权重谱的一种特定重组,我们称之为\\textit{谱集中}。与简单的秩-1坍缩不同,我们的分析表明,位于脊上的网络自组织到一个临界态:主导特征值被放大以最大化全局稳定性(直接力),而后续特征值得以保留以维持高记忆容量(间接力)。这些发现为高容量联想记忆的形成提供了完整的物理图景,表明通过将系统调节至秩坍缩与扩散之间的谱“金发姑娘区”,可实现最优性能。

0
下载
关闭预览

相关内容

MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
【AAAI2021】图卷积网络中的低频和高频信息作用
专知会员服务
59+阅读 · 2021年1月6日
【KDD2020】自适应多通道图卷积神经网络
专知会员服务
121+阅读 · 2020年7月9日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
开放知识图谱
21+阅读 · 2020年4月24日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
开放知识图谱
21+阅读 · 2020年4月24日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员