最新研究表明,外部攻击者可以通过联邦学习(Federated Learning, FL)中的成员推理攻击(Membership Inference Attacks, MIA)访问敏感用户数据。在FL框架中引入差分隐私(Differential Privacy, DP)是增强FL隐私性的有效方法。但在差分隐私联邦学习(Differentially Private Federated Learning, DP-FL)中,本地梯度在某些训练轮次中会变得过于稀疏。特别是在隐私预算较低的情况下进行训练时,这有可能在客户端上传的梯度中引入过多的噪声。这个问题会导致全局模型精度显著下降。因此,如何平衡用户隐私和全局模型精度成为DP-FL的一个挑战。
针对上述挑战,本文提出了一种基于重要梯度保护(DP-FedASGP)的差分隐私联邦聚合方法。DP-FedASGP可以通过保护重要梯度来减少过量噪声,并通过计算梯度的动态聚合权重来加速全局模型的收敛。实验结果表明,DP-FedASGP的隐私保护效果与DP-FedAvg和cpSGD(基于梯度量化的通信隐私SGD)相当,但优于DP-FedSNLC(基于裁剪损失和隐私预算成本的稀疏噪声)和FedSMP(稀疏化模型扰动)。此外,DP-FedASGP在4个数据集和3种模型上的平均全局测试精度分别比上述方法高2.62%、4.71%、0.45%和0.19%。这些改进表明DP-FedASGP是一种很有前景的平衡DP-FL的隐私性和准确性的方法。
本文的贡献如下:1)本文证明了在部分重要梯度中引入噪声可以成功地满足ε-DP的定义,为了减少过多的噪声,本文提出了一种重要性阈值计算方法来评估和保护重要梯度;2)为了加快全局模型的收敛速度,本文提出了一种动态梯度加权聚合方法,该方法可以动态计算梯度权重并聚合全局梯度。
(第一作者:张本腾为河海大学计算机与软件学院博士生,指导老师毛莺池教授为该论文的第二作者兼通讯作者)
原文题目为:“Balancing Privacy and Accuracy Using Significant Gradient Protection in Federated Learning”,于2025年1月发表在IEEE Transactions on Computers上,DOI:10.1109/TC.2024.3477971。TC属于中国计算机学会(CCF)推荐A类期刊,是计算机体系结构/并行与分布计算/存储系统领域国际权威期刊之一,该期刊研究方向聚焦计算机前沿领域,包括计算机组织和体系结构、操作系统与软件系统、计算机组件和互连网络、安全性和可测试性。原文链接为:https://ieeexplore.ieee.org/document/10713222。