这项工作的目标是研发一个训练图卷积网络(GCNs)的完全分布式算法框架。该方法能够利用输入数据的有意义的关系结构,这些数据是由一组代理收集的,这些代理通过稀疏网络拓扑进行通信。在阐述了集中的GCN训练问题之后,我们首先展示如何在底层数据图在不同代理之间分割的分布式场景中进行推理。然后,我们提出了一个分布式梯度下降方法来解决GCN训练问题。得到的模型沿着三条线分布计算:推理、反向传播和优化。在温和的条件下,也建立了GCN训练问题对平稳解的收敛性。最后,我们提出了一个优化准则来设计代理之间的通信拓扑,以匹配描述数据关系的图。大量的数值结果验证了我们的想法。据我们所知,这是第一个将图卷积神经网络与分布式优化相结合的工作。

https://www.zhuanzhi.ai/paper/8a4718497597c36257418a3dd85639f4

成为VIP会员查看完整内容
35

相关内容

最新《深度持续学习》综述论文,32页pdf
专知会员服务
183+阅读 · 2020年9月7日
最新《图嵌入组合优化》综述论文,40页pdf
专知会员服务
78+阅读 · 2020年8月31日
[ICML2020]层次间消息传递的分子图学习
专知会员服务
34+阅读 · 2020年6月27日
【泡泡图灵智库】GCNv2:高效关联预测实时SLAM(arXiv)
泡泡机器人SLAM
45+阅读 · 2019年4月15日
Tensorflow框架是如何支持分布式训练的?
AI100
9+阅读 · 2019年3月26日
Arxiv
19+阅读 · 2020年7月13日
Arxiv
35+阅读 · 2020年1月2日
Graph Analysis and Graph Pooling in the Spatial Domain
VIP会员
相关VIP内容
最新《深度持续学习》综述论文,32页pdf
专知会员服务
183+阅读 · 2020年9月7日
最新《图嵌入组合优化》综述论文,40页pdf
专知会员服务
78+阅读 · 2020年8月31日
[ICML2020]层次间消息传递的分子图学习
专知会员服务
34+阅读 · 2020年6月27日
相关论文
微信扫码咨询专知VIP会员