我院一篇论文被国际权威期刊IEEE Transactions on Computers录用并在线发表
发布日期:
2024-12-11
浏览次数:
10

近日,我院屈志昊副教授的研究论文“FedQClip: Accelerating Federated Learning via Quantized Clipped SGD”被计算机体系结构领域国际权威期刊IEEE Transactions on ComputersCCF A类国际期刊)录用并在线发表。我院屈志昊副教授为论文的第一作者、博士生贾柠晖为学生第一作者,南京大学叶保留教授为该论文的通讯作者,其他作者包括我院胡世红博士以及香港科技大学郭嵩教授。

该文针对现有联邦学习通信开销大、模型收敛慢的难题,提出了一种全新的联邦学习优化算法FedQClip)。FedQClip首先通过系统分析量化和梯度剪裁技术协同机理,建立了基于两者相结合的联邦学习优化模型,在保证模型收敛性的基础上有效降低了每轮通信的数据量;其次,从理论角度证明了在非独立同分布(Non-IID)数据场景下,FedQClip可达到与传统SGD方法相当的收敛速率,并有效解决Non-IID数据对模型优化的干扰;此外,还进一步界定了本地更新轮数的约束条件,给出了实现快速收敛的最优轮数范围,为联邦学习中本地更新的设计提供了理论依据。 

在多个数据集(如MNISTCIFAR10Tiny-ImageNet)和多种模型架构(如ResNetMobileNet)上的实验结果表明,FedQClip可提高通信效率3倍以上,且显著加快模型收敛速度。

IEEE Transactions on Computers》是计算机体系结构/并行与分布计算/存储系统领域国际权威期刊之一,被中国计算机学会(CCF)推荐为A类国际期刊。