基于Gossip的异步分布式训练算法

作者：周嘉; 涂军^*; 任冬淋

来源：湖北工业大学学报, 2023, 38(01): 43-58.

• 非中心化分布式
• Gossip
• 异步

因此基于Gossip协议并结合SGD(Stochastic Gradient Descent)提出了一种用于深度学习的通信框架GR-SGD(Gossip Ring SGD),该通信框架是非中心化且异步的，解决了通信等待时间较长的问题。实验使用ImageNet数据集，ResNet模型验证了该算法的可行并与Ring AllReduce和D-PSGD(Decentralized parallel SGD)进行了比较，GR-SGD在更短的时间内完成了训练。

• 出版日期2023
• 单位湖北工业大学