Machine Learning with Membership Privacy using Adversarial Regularization
该技术通过引入对抗性正则化机制来实现数据隐私保护与模型性能的有效平衡。研究者们开发出了一种新型算法框架，在保证数据机密的前提下实现了机器学习系统的稳定训练与优化。该方法不仅能够有效防止信息泄露风险，并且能在提升模型泛化能力的同时降低训练所需资源消耗。
-
- 文献背景及解决问题
- 基础知识
- 具体方案
- 核心算法
- 实验
- 总结
- 下载
文献背景及解决问题
该机器学习模型在预测过程中暴露了大量与训练数据相关的信息。就隐私保护而言，在线机器学习服务的用户面临着严峻挑战。本文重点研究如何降低针对黑匣子机器学习模型的逆向工程攻击威胁。
本文作者开发了一种机制来训练具有成员资格私有性的模型以确保其在基于相同分布的数据集上的预测不可识别性。这种做法必须最大限度地降低最佳黑盒成员推理攻击对模型性能的影响我们将上述问题建模为一个min-max博弈并开发了一个对抗训练算法该算法旨在同时最小化模型的预测损失以及推理攻击的最大风险这种机制不仅具有强大的正则化能力还能有效提升整体模型性能
基础知识
分类模型 ：考虑数据空间X（由所有可能的数据点构成），其中每维代表数据点的一个属性特征（作为分类器的工作输入）。假定该空间划分为k个预先确定类别（预先设定的一组类别），我们的目标是建立映射函数f: X→Y（即将每一个样本映射到相应的类别标签）。通过映射结果反映各输入样本所属类别及其置信度；向量y中的每一个元素对应于样本属于相应类别时的概率值；机器学习算法旨在最小化预期损失L(f) = E_{(x,y)~D}[l(f(x), y)] ，其中l(·, ·) 代表损失函数衡量预测与真实标签之间的差异程度；为了实现这一目标，请陈述上述分类模型的学习优化问题的形式化过程如下所示：
参与者推理攻击（亦称扩散攻击）的目标在于识别对手是否能在基于数据集D（如汇总统计信息、机器学习模型）的数据分析过程中判断目标数据记录是否存在与D相关的数据库中。
攻击者通过比较数据集中已发布的统计数据与其抽样计算出的同类型统计数据之间的差异来识别潜在的目标数据。或者对手可以通过对比目标数据及其抽样样本与已发布统计数据之间的距离来确定哪一组更贴近。当在两种情况下的对比分析后发现目标数据在与已发布统计数据之间的距离上具有显著优势时，则可以推断该目标很可能是来自原始数据集的一员。
成员推理攻击模型优化
具体方案
MIN-MAX MEMBERSHIP PRIVACY GAME (Minimum-Maximum Membership Privacy Game)
- 在每个训练阶段中都包含了（7）最大化部分所涉及的k个步骤。
- 接下来则采取的是一个用于最小化该部分的具体步骤。
核心算法
- 通过内在最大化确定了最强推论模型（记为M*），该模型具备给定分类器f的能力；同时，在外部最小化过程中，则是针对特定值v来实现防御目标。
- 在每一轮迭代中解决内部与外部优化问题：即交替使用内外优化器分别求解两个子问题直至收敛。
- 内部阶段：基于固定f进行成员推理模型训练；具体而言，在每次迭代中利用当前已知数据集D与其参考数据集D'之间的差异信息来更新成员推理能力。
- 外部阶段：基于固定攻击策略g(t)，更新原始分类器h(t)；其中，在这一过程中将对手增益作为正则项加入损失函数以防止过拟合。
- 期望通过此过程使得整体损失函数L_D逐步减小。
- 最终算法应达到最优解状态——即求解式(7)所描述的目标函数极值点。
实验
总结
- 本文构建了一种训练算法以规范机器学习模型的隐私性，并构建了一个优化问题构成一个最小-最大博弈模型，在此框架下最小化模型分类损失的同时最大化成员推理攻击的成本。
- 本文在探讨如何抵御特定类型的攻击时提出了良好的思路：由防御者提出的攻击手段即为最强可能威胁；若我们的方案能够抵御此类攻击，则表明该方案可抵御所有可能的成员推理攻击。
- 本文读起来异常流畅其写作手法极具借鉴价值。