论⽂阅读：Differentialprivacyfederatedlearningacli。。。论⽂名字Differential privacy federated learning a client level perspective
来源NIPS 2017 顶会
年份2017
作者Robin C. Geyer, T assilo Klein, Moin Nabi
核⼼点
阅读⽇期2021.1.21 和 2020.12.19
影响因⼦
页数7
引⽤数
引⽤
内容总结
富豪最多的属相
⽂章主要解决的问题及解决⽅案：
问题：在联邦学习框架下，容易受到差分攻击，这种攻击可能来⾃联邦学习期间的任意⼀⽅。在这种攻击中，通过分析分布式模型来揭⽰客户端在训练期间的贡献和关于他们的数据集的信息。
解决⽅案：提出⼀种客户端差分隐私保护的联邦优化算法，⽬的是在训练期间隐藏客户的贡献，平衡隐私损失和模型性能之间的权衡，当参与者数量⾜够多的时候，所提⽅法可以维护客户端级的差分隐私，⽽模型性能的损失很低。
行销课程⽂章的主要⼯作：
①⽂章的主要贡献：①展⽰了当模型性能在联邦学习中保持较⾼时，客户的参与是可以隐藏的。证明了所提算法可以在模型性能损失较⼩的情况下实现客户端级的差分隐私；②提出在分布式训练期间动态地调整dp等级（dp-level）。经实验表明，模型性能会以这种⽅式提⾼。亚索800
②在联合优化的框架中（即联邦学习框架），服务器端的中央管理这在每轮通信后对客户端模型（即权重矩阵）进⾏平均。⽽在⽂中所提算法中，将使⽤随机机制来改变和近似这种平均。这样做是为了隐藏单个客户端在集合中的贡献，从⽽隐藏在整个分布式联邦学习过程中的贡献。其中，⽤来近似平均值的随机化机制包括两个步骤:
1. 随机抽样：设K是客户端的总数量，在每次通信中，随机抽样⼀个⼦集Zt，其⼤⼩为mt≤K。中⼼管理者向这个数组中的客
户端，也就是部分客户端发送模型wt。这些客户端使⽤⾃⼰的数据优化模型，Zt⼦集中的客户端保存独特的本地模型wk。优化本地模型和中⼼模型之间的差异被称为第k个客户端的更新。在每轮通信结束时，更新会被发送回中⼼管理者。
2. 失真：⼀个⾼斯机制被⽤来失真全部的更新。这要求了解集合对求和操作的敏感度，我们可以通过放缩版本⽽不是真正的更新来增
强特定的敏感度，缩放保证了第⼆范式是有限的。因此，相对于求和操作的缩放更新的灵敏度的上限是S，⾼斯机制现在将噪声（按灵敏度S缩放）添加到所有缩放更新的总和中。将GM输出除以mt，可以得出所有客户端更新真实值的平均值，同时防⽌个⼈关键信息的泄露。
新的中⼼模型wt+1是通过将近似值添加到当前的中⼼模型得到的：
平均值的失真由噪声⽅差S2σ2m控制。然⽽，该失真不应超过某个限制。否则，来⾃⼆次采样平均值
的太多信息会被添加的噪声破坏，并且不会有任何训练进展。
③为跟踪隐私损失（privacy loss），⽂中使⽤了论⽂[1]中提出的⽅法来计算privacy loss。每次中⼼管理者会根据给定的ϵ，σ，m
科比的天空来计算δ，其中δ主要是⽤来判断单个⽤户的贡献值是不是过⾼，过⾼时会存在隐私泄露问题。需要保证δ≪1k，在[4]书中2.3章有细节。⽐率r=σ2m决定失真和privacy loss，更⾼σ和更低m，隐私损失会更⾼
中2.3章有细节。⽐率r=σ2m决定失真和privacy loss，更⾼σ和更低m，隐私损失会更⾼
④K个客户端梯度变化值△wi,j的⽅差：
VAR△wi,j=1kk=0K△wi,jk-μi,j2
其中，μi,j=1Kk=1K△wi,jk
牛郎绕口令
将更新矩阵中所有参数⽅差的和定义为
Vc=1q×pi=0qj=0pVAR△wi,j
更新标尺定义Us为：
Us=1q×pi=0qj=0pμi,j2
⑤实验部分：
与论⽂[5]⼀样，将MNIST数据集拆分，每个客户端得到两块碎⽚。
单个客户端⽆法在他们的数据集中训练⼀个模型，以使其达到⼗位数的精度。
客户端数量分别设置为100,1000,10000个，ϵ设置为8，当δ分别在100,1000,1000个客户端时达到e-3,e-5,e-6时停⽌训练。
⑥算法流程：
初始化权重w0和privacy loss的界限
服务器端执⾏：
循环：
计算出当前δ(privacy loss值)
如果δ>Q（超过了隐私预算）：
返回wt（当前全局模型的梯度）
从K个客户端中，随机选⼀组参与者mt
对于每个参与者都进⾏模型的更新（即训练）（并⾏）
客户端更新norm的中位数
更新当前中央的模型
客户端执⾏：
wt代替原来的w
花生糖怎么做
循环（每个epoch）：俞振飞
Mini batch更新梯度
客户端更新本地模型
Norm更新
返回分⽚（⼀部分的参与者）的更新后的模型和norm
⽂章内容：
实验结果：
ACC：accuracy
CR：number of communication CC：communication costs
胸腔痛附录：
存在的疑问：
疑问：δ怎么确定？
