| 林宁,陈晓明,夏春伟,李文星,叶靖,刘自臻,李晓维.基于双重混沌映射算法的深度学习模型梯度安全保护研究[J].高技术通讯(中文),2022,32(10):991~1003 |
| 基于双重混沌映射算法的深度学习模型梯度安全保护研究 |
| The gradients protection for deep learning models based on dual chaotic map |
| |
| DOI：10.3772/j.issn.1002-0470.2022.10.001 |
| 中文关键词: 深度学习； 梯度安全； 混沌映射； 整数背包； 动态规划 |
| 英文关键词: deep learning, gradients security, chaotic map, knapsack problem, dynamic programming |
| 基金项目: |
| 作者 | 单位 | | 林宁 | (中国科学院计算技术研究所北京 100190)
(中国科学院大学计算机科学与技术学院北京 101408) | | 陈晓明 | (中国科学院计算技术研究所北京 100190)
(中国科学院大学计算机科学与技术学院北京 101408) | | 夏春伟 | (中国科学院计算技术研究所北京 100190)
(中国科学院大学计算机科学与技术学院北京 101408) | | 李文星 | (中国科学院计算技术研究所北京 100190)
(中国科学院大学计算机科学与技术学院北京 101408) | | 叶靖 | (中国科学院计算技术研究所北京 100190)
(中国科学院大学计算机科学与技术学院北京 101408) | | 刘自臻 | (中国科学院计算技术研究所北京 100190)
(中国科学院大学计算机科学与技术学院北京 101408) | | 李晓维 | (中国科学院计算技术研究所北京 100190)
(中国科学院大学计算机科学与技术学院北京 101408) |
|
| 摘要点击次数: 1410 |
| 全文下载次数: 921 |
| 中文摘要: |
| 在联邦学习任务中，不同用户会上传深度学习模型的梯度到中央服务器进行梯度聚合，然而直接上传模型的原始梯度并不安全，攻击者会利用梯度攻击方法还原出用户的输入数据。当前，基于安全多方计算(SMPC)、差分隐私(DP)和同态加密(HE)来保护梯度安全的方法，存在通信开销较大、精度损失严重和加解密时延开销过大等主要问题。本文提出一种基于双重混沌映射算法的深度学习模型梯度安全保护方法，通过交换深度学习模型梯度的位置能够有效地防止恶意攻击者通过梯度攻击来偷窥用户个人隐私。为了降低时延开销，本文将深度学习模型层的映射问题转化为0-1整数背包问题，并利用动态规划求解出最优的保护方案。在CIFAR-10、CIFAR-100、LFW以及ImageNet数据集上的实验结果表明，本文所提方法能够防御当前最有效的两种梯度攻击，保护了深度学习模型梯度的安全性。此外，在CPU、GPU以及3款手机芯片上的实验结果表明，所提方法运行效率极高仅需要毫秒级就能完成安全保护。 |
| 英文摘要: |
| In the federated learning task, different users will upload the gradients of deep learning models to a central server for gradients aggregation. However, recent studies show that directly uploading the original gradients is not secure, and attackers can utilize gradient attack methods to restore user’s input data. Currently, methods based on secure multi party computation (SMPC), differential privacy (DP) and homomorphic encryption (HE) to protect gradient security have major problems of large communication overhead, serious loss of accuracy and excessive latency overhead. This paper proposes a gradient security protection method based on a dual chaotic map algorithm, which can prevent malicious users and malicious servers from peeping users’ personal privacy through gradients by exchanging its positions. To reduce the latency overhead, the proposed method transforms the map problem of the layers into a 0-1 integer knapsack problem, and utilizes dynamic programming to obtain the optimal encryption scheme. Experimental results on CIFAR-10, CIFAR-100, LFW and ImageNet datasets show that the proposed method can effectively defend the two latest gradient attack methods, and effectively protect the security of the gradients. In addition, the experimental results on CPU, GPU and three mobile phone chips show that the proposed method runs extremely efficiently and only requires several milliseconds to achieve security protection. |
|
查看全文
查看/发表评论 下载PDF阅读器 |
| 关闭 |
|
|
|
