本地差分隐私 随机响应_联邦学习隐私保护研究进展
一文读懂联邦学习：
最热AI金融技术！京东数科万字长文解读“联邦学习”mp.weixin.qq.com
发展现状和前景：
联邦学习/联盟学习 (Federated Learning) 的发展现状及前景如何？www.zhihu.com
目前还存在的问题：
https://arxiv.org/pdf/1912.04977.pdfarxiv.org
关于隐私问题，目前在联邦学习中经常使用的是安全多方计算（SMC）、同态加密、差分隐私（DP），本文中主要讨论差分隐私的研究进展。
首先先来重温一下差分隐私的公式：
在差分隐私中，数据通常是由可信第三方进行加噪声来实现隐私。在联邦学习中，服务器作为DP机制的可信任实现者，确保隐私输出。然而，我们通常需要减少可信任参与者的参与，最近几年提出了一些方法。
Local differentital privacy
本地差分隐私通过让每个客户机在与服务器共享数据之前对其数据应用差分隐私，可以在不需要信任集中服务器的情况下实现差异隐私。LDP相对于DP而言，不需要可信第三方的参与，而且数据在发送之前就已经实现了隐私保护。不幸的是，LDP实现隐私保护的同时数据的可用性会降低，而DP对小数据集来说可提高可用性【4.4.2】。因此，需要一个介于DP和LDP之间的模型，例如，分布式差分隐私、混合差分隐私。
局限性——数据可用性不强。原因是因为引入的噪声必须与数据中信号的大小相当，这可能需要在客户端之间合并报告。因此，获得更高的实用性需要更大的用户基数和更大的ε参数。
Distributed differential privacy
在分布式差分隐私模型中，客户机首先计算并编码一个最小的（特定于应用程序的）报告，然后将编码的报告发送到一个安全的计算函数，其输出对于中心服务器来说是可用的且满足隐私要求。编码是为了在客户端维持隐私，安全计算函数有多种形式，可能是多方计算（MPC）协议，也可能是TEE上的一个标准计算或者两者的结合。分布式差分隐私有两种实现方式：基于安全聚合和安全洗牌。
- Distributed DP via secure aggregation
安全聚合可以确保中心服务器获取聚合结果，同时能够保证参与者的参数不会泄露给服务器。为了进一步保证聚合后的结果不会显示额外的信息，我们可以使用LDP。（例如，设备在安全聚合之前对本地模型参数进行扰动来实现本地差分隐私。）
局限性——（a）假设一个半诚实的服务器
（b）允许服务器查看每轮的聚合（可能会泄露信息）
（c）对稀疏向量无效
（d）缺乏强制客户端良好输入的能力
- Distributed DP via secure shuffling
在这种模式中，每个客户端在本地数据进行LDP，然后将输出的结果传给安全洗牌器。shuffler随机排列报告，然后发送给服务器进行分析。
局限性——（a）需要可信中间媒介
（b）shuffle模型的差分隐私保证与参与计算的敌对用户数量成比例降低
Hybrid differential privacy
混合模型根据用户的信任模型偏好划分用户的多个信任模型。有两种方法：一种使用最少信任，提供了最低实用性但可以在所有用户上应用。第二种是使用最信任的模型，提供了很高的实用性，但只能应用在值得信任的用户上。通过允许多个模型共存，混合模型机制可以从给定用户群中获得更高的效用。（例如，在一个系统中，大多数用户在本地隐私模型中贡献他们的数据，一小部分用户贡献他们的数据在可信第三方。）
局限性—— 差异隐私的混合模型可以根据用户的信任偏好对其进行划分，从而减少所需用户基数的大小，但它不提供用户本地添加噪声的隐私放大。此外，还不清楚哪些应用领域和算法能够最好地利用混合信任模型数据。目前关于混合模型的工作通常假设，不管用户的信任偏好如何，他们的数据来自同一个分布。放宽这一假设对于FL尤其重要，因为信任偏好和实际用户数据之间的关系可能是非常重要的。