联邦学习（Federated Learning）介绍
参考资源如下：
TensorFlow 官方教学内容：
查看原文联邦学习生态系统：
访问此处Federated Learning 详细解析：
深入阅读
Federated Learning的提出
Federated Learning源于Google于2016年的创新研究，在过去16年间围绕这一技术的论文研究共涵盖了3篇论文
Jakub Konecný, H. Brendan McMahan, Daniel Ramage, and Peter Richtárik are authors of the paper titled "Federated Optimization: Distributed Machine Learning for On-Device Intelligence" published in 2016 as a preprint on arXiv under the identifier arXiv:1610.02527, which can be accessed at https://arxiv.org/abs/1610.02527 .
Jakub Konecný and his colleagues have contributed significantly to the field of federated learning through their collaborative research efforts. Their work titled "Federated Learning: Strategies for Improving Communication Efficiency" was published in 2016 as a CoRR article with the identifier abs/1610.05492 and is accessible via the arXiv platform at https://arxiv.org/abs/1610.05492 for further reading on their innovative approaches to communication efficiency in distributed learning systems.
H. Brendan McMahan, Eider Moore, Daniel Ramage, and Blaise Agüera y Arcas. 2016. Federated Learning of Deep Networks using Model Averaging. CoRR abs/1602.05629 (2016). arXiv:1602.05629 http://arxiv.org/abs/1602.05629
Google AI Blog
Federated Learning: 协作式机器学习无需中心化的训练数据：https://ai.googleblog.com/2017/04/federated-learning-collaborative.html
传统的机器学习方式要求将训练数据存储于单一的服务器或数据中心中。 Google构建了顶级云基础设施,该平台能够高效处理大量数据,从而显著提升了我们的服务质量和用户体验。对于仅需通过普通用户与移动设备交互即可完成训练任务,从而生成模型的方法,我们将其命名为联合学习(Federated Learning)技术
大致流程如下：
第一步，将当前模型下载至本地设备。
第二步，在此基础上基于本地数据进行参数更新。
第三步，提取并形成一个精简的更新包。
第四步，经过加密后传输至云端服务器。
第五步，在云端完成聚合计算后返回到云端用于模型更新。
需要注意的是，在整个过程中所有训练数据都将被严格保护，
仅在云端存储个人设备的数据，
不会有任何个人更新信息上传至云端。
联合学习可以在同时保护隐私的情况下带来更智能、低延迟与低功耗的系统性能。这种方法的一个显著优点是不仅能够实现对共享模型的支持，并且能即时优化智能手机中的模型参数以提升用户体验。
Google正在测试其Gboard应用在Android设备上的联合学习功能。每当Gboard显示查询建议时，在您的手机上将生成并保存与当前情境相关的本地化信息，并记录您是否点击过这些建议。该系统将分析设备的历史数据，并为提升其未来改进策略提供反馈依据。
为了实现联合学习的可能性, 我们必须面临多种算法和技术上的挑战。通常采用的是基于随机梯度下降（SGD）等优化算法的大规模数据集，在云环境中被服务器群组均匀分配处理。这种高度依赖迭代的数据处理方式要求具备低延迟和高吞吐量的数据传输通道。然而，在"联合学习"场景下, 数据呈现出极度不均衡的分布状态,广泛分布于数百万个设备上,导致资源分配效率低下且通信开销显著增加。此外, 这些设备不仅面对着较高的处理时延,还拥有较低的数据吞吐能力,并且只能间歇性地参与训练过程
该方案采用Federated Averaging算法，并称其为Communication-Efficient Learning of Deep Networks from Decentralized Data。与传统的fedAvg方法相比，在训练深度网络时所需通信开销减少了10到100倍。其核心理念在于利用移动设备上的的强大处理器，并使更新过程相较于传统的梯度下降步骤（SGD）具有更高的质量。这样一来，在较少迭代次数的情况下就能训练出性能优异的模型了。因此所需的通信开销也相应减少
生成高质量模型所需进行的高质量更新迭代次数相对较少；从而使得训练过程可以减少连接数量。
鉴于一般情况下上传速度明显低于下载速度；因此Google开发了一种创新的方法；通过应用随机旋转和量化压缩技术；有效降低了上传通信成本至100倍。
尽管这些方法主要针对的是深度神经网络的设计；但同时他们也为高维稀疏凸优化模型开发了相应的算法；该算法在点击率预测等问题上表现出色。
部署涉及一套复杂的技术架构，在设备本地训练时需采用小型化版本的TensorFlow框架（TF）。调度系统则要求精心规划，在设备处于空闲状态、充电中以及有无线网络覆盖的情况下均能确保不会对用户体验造成任何影响。
通信与聚合要求具有高度可靠、高效、可扩展和容错的特点；因此必须具备所有这些特性的基础设施才能够被考虑采用。
参考文献中的研究表明, 提出了 Practical Secure Aggregation for Privacy Preserving Machine Learning, 即为一种基于 Secure Aggregation 的技术方案. 只有当至少数百或上千个参与者加入时, 协调服务器才会对 average update 进行解密. 因此, 在 average 更新之前, 无法获取任何单个参与者的真实更新数据. 由此可知, 在实际应用中, 协调服务器只需接收 average update 即可完成工作流程. 然而, 目前该技术仍处于实验阶段, 并有望在未来不久内得到实际应用.
联合学习也存在局限性（例如，在基于有标签的数据的学习机制中尝试识别不同品种的狗就无济于事）。此外，在云存储中存放着大量高质量的训练数据（例如，在现有的技术用于处理这类问题时所依赖的技术体系中）
Federated Learning优势
（1）数据隔离，数据不会泄露到外部，满足用户隐私保护和数据安全的需求；
（2）能够保证模型质量无损，不会出现负迁移，保证联邦模型比割裂的独立模型效果好；
（3）参与者地位对等，能够实现公平合作；
（4）能够保证参与各方在保持独立性的情况下，进行信息与模型参数的加密交换，并同时获得成长。
目前研究与应用
该研究基于准牛顿方法构建了一种垂直联邦学习框架用于逻辑回归 December 13, 2019
A Data Communication Optimized Column-Wise Vertical Federated Learning Framework
December 13th, 2019
Abnormal Client Behavior Detection in Federated Learning
十月 22nd, 2019
Real-World Image Datasets for Federated Learning
十月 14th, 2019
HHHFL: 层级结构异质性水平联邦学习在脑电信号分析中的应用；2019年9月11日
Multi-Agent Visualization for Explaining Federated Learning
八月 12th, 2019
Fair and Explainable Dynamic Engagement of Crowd Workers
八月 12th, 2019
A Profit-Maximizing Bidding Mechanism for Demand-Side Market Participants
Federated Machine Learning: Concept and Applications
二月 13th, 2019
SecureBoost: A Lossless Federated Learning Framework
一月 25th, 2019
Federated Reinforcement Learning
一月 25th, 2019
Secure Federated Transfer Learning
十二月 8th, 2018
应用