Communication compression techniques are of growing interests in studying the decentralized optimization problem under limited communication, where the global objective is to minimize the average of local cost functions over networked agents using only local computation and peer-to-peer communication. In this paper, we propose a novel compressed gradient tracking algorithm (C-GT) that combines gradient tracking technique with communication compression. We show that C-GT inherits the advantages of gradient tracking-based algorithms, and in particular, achieves linear convergence rate for strongly convex and smooth objective functions. Numerical examples further demonstrate the efficiency and flexibility of the proposed algorithm.


翻译:通信压缩技术对于在有限通信条件下研究分散化优化问题的兴趣日益浓厚,全球目标是仅利用本地计算和同行通信,将网络化代理商的当地成本功能的平均值降至最低;在本文件中,我们提议采用新的压缩梯度跟踪算法(C-GT),将梯度跟踪技术与通信压缩相结合;我们表明,C-GT继承了梯度跟踪算法的优势,特别是为强电流和平稳客观功能实现了线性趋同率。 数字实例进一步证明了拟议算法的效率和灵活性。

0
下载
关闭预览

相关内容

专知会员服务
144+阅读 · 2021年3月17日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
5+阅读 · 2017年12月14日
VIP会员
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员