《A Review of Adversarial Attack and Defense for Classification Methods》论文解读
文章结构：
- 首先introduction，介绍机器学习尤其是DNNs取得的成就，同时面临对抗性示例的欺骗
- 第2部分简单写了深度神经网络的内容
- 第3部分写了当下最新的分类器攻击方法
- 第4部分写了对应第3部分分类器攻击的保护方法
- 第5部分主要是方法数值的比较
- 第6部分是总结和展望
Introduction
机器学习系统的效率和可扩展性：作者首先强调了机器学习系统在图像分类、语音识别、机器翻译和游戏等领域取得的突破性进展。
对抗性示例的挑战：尽管机器学习模型取得了巨大成功，但研究发现，对抗性示例可以欺骗训练有素的分类器。这些示例对于人类来说和原始输入无法区分，但却能导致分类器做出错误的分类。
对抗性示例的重要性：作者提到，对抗性示例的存在对于在安全敏感领域部署DNNs或相关方法构成了严重的问题，如自动驾驶汽车、飞行控制系统和医疗系统等。
研究背景：对抗性示例的问题最初由Biggio等人在2013年和Szegedy等人在2014年提出。自那时以来，该领域已经取得了显著的研究进展，包括生成对抗性示例的攻击方法和防御技术的发展。
DNNs
模型结构：DNNs由多层参数化函数组成，每一层都由权重矩阵参数化，并通过激活函数引入非线性。
激活函数：DNN中的每个神经元都有一个激活函数，如ReLU，用于产生当前层的输出。
卷积神经网络（CNN）：作为DNN的一种特殊类型，CNN在图像分类任务中特别有效。它们使用卷积核来扫描输入图像，并生成特征矩阵。
训练过程：DNNs通过最小化损失函数来调整权重。对于分类任务，常用的损失函数是交叉熵损失。训练通常涉及梯度下降，特别是通过反向传播算法来计算梯度。
正向与反向传播：
* 正向传播：首先，我们将输入数据（特征向量）通过神经网络的每一层，逐层进行计算，直到得到最终的输出。在每一层，输入通过加权求和和激活函数等操作得到输出。
* 反向传播：反向传播是从损失函数开始，沿着神经网络的层级反向计算梯度的过程。首先，计算损失函数对于输出层每个神经元的梯度。这可以通过损失函数对输出的偏导数来计算。然后，将这些梯度沿着网络反向传播，通过链式法则计算每一层的梯度。在计算梯度的过程中，需要考虑每一层的权重和偏置项对损失函数的影响，以及激活函数的导数。梯度计算：在反向传播过程中，使用链式法则计算每个权重对最终损失的贡献。
随机梯度下降：对于大型数据集，使用随机梯度下降（SGD）来提高训练效率。
测试阶段：在测试阶段，使用训练好的DNN模型对新的输入数据进行分类预测。
泛化与对抗性攻击：尽管DNNs在训练集上表现出色，但它们容易受到对抗性攻击的影响，这些攻击通过向输入添加精心设计的扰动来误导模型。
DNN的鲁棒性：论文强调了提高DNN对对抗性攻击鲁棒性的重要性，尤其是在安全敏感的应用领域。
Attack
这部分详细描述了如何生成能够欺骗机器学习分类器的对抗性示例
对抗性攻击的概念：对抗性攻击是指在已知的自然样本和受害模型的基础上，通过精心设计的小扰动来生成对抗性示例的过程。这些示例对于人类观察者来说与原始输入无法区分，但是能够被分类器错误分类。
攻击目标的分类：对抗性攻击通常分为两种目标类型：无目标攻击（untargeted）和有目标攻击（targeted）。在无目标攻击中，只要输入被错误分类，攻击就被认为是成功的。而在有目标攻击中，只有当输入被错误分类为特定的目标类别时，攻击才被认为是成功的。
攻击方法的分类：根据所需信息的不同，对抗性攻击方法可以分为三类：
* 基于梯度的攻击（Gradient-Based Attack）：这类攻击利用损失函数相对于输入的梯度信息来生成对抗性示例。
* 基于分数的攻击（Score-Based Attack）：这类攻击不需要梯度信息，而是依赖于分类器的输出分数来进行攻击。
* 基于决策的攻击（Decision-Based Attack）：在只有模型的预测标签可用的情况下，这类攻击通过其他方式来生成对抗性示例。白盒与黑盒攻击：如果攻击者可以完全访问模型的结构和参数，这种情况被称为白盒设置（white-box setting）。如果攻击者只能访问模型的预测输出（标签或分数），则分别被称为软标签黑盒设置（soft-label black box setting）和硬标签黑盒设置（hard-label black box setting）。
代表性攻击方法：论文详细介绍了几个代表性的攻击方法，包括：
* 快速梯度符号方法（FGSM）：基于梯度的单步攻击方法。
* 基本迭代方法（BIM）和投影梯度下降攻击（PGD）：这些是FGSM的迭代版本，通过多次迭代来增强攻击效果。
* Carlini和Wagner攻击（C&W Attack）：一种强大的基于梯度的攻击方法，能够执行有目标和无目标的攻击。攻击的优化问题：对抗性攻击通常被表述为一个优化问题，目标是在保持输入外观不变的同时最大化分类器的损失函数。
攻击的效率和有效性：论文还讨论了如何提高攻击的效率和有效性，包括使用替代模型、随机游走和优化技术等。
攻击方法的比较：作者通过数值实验比较了不同攻击方法在基准数据集上的性能。
损失函数
将神经网络的输出与真实标签进行比较，计算损失函数的值。损失函数衡量了模型预测结果与真实值之间的差异。
- 均方误差（Mean Squared Error，MSE）：用于回归任务，计算预测值与真实值之间的平方差。
- 交叉熵损失（Cross-Entropy Loss）：用于分类任务，衡量模型输出的概率分布与真实标签之间的差异。
FGSM :
利用模型的梯度信息来生成对抗样本，通过微调输入数据的像素值，使得模型在对抗样本上产生错误的分类结果
- 计算梯度：对于给定的输入图像 x，通过反向传播计算出损失函数关于输入的梯度 ∇_x J(θ, x, y)，其中 J 是损失函数，θ 是模型参数，y 是真实标签。（∇_x是计算梯度的意思 ）
- 生成对抗样本：根据梯度信息和预先设定的扰动大小 ε，生成对抗样本 x_{adv} = x + ε ⋅ sign(∇_x J(θ, x, y))。（其中 sign 是取符号函数，正数映射到 1，负数映射到 -1，而零映射到 0 ）
- 评估对抗样本：将对抗样本 x_{adv} 输入到模型中进行分类预测，并比较预测结果与原始样本的分类结果。
- 攻击成功判断：如果对抗样本导致模型的错误分类，并且扰动的大小 ε 较小，那么认为攻击成功。
Defense
这部分详细介绍了如何提高机器学习模型对对抗性攻击的鲁棒性。
-
对抗性训练（Adversarial Training）：
- 通过在训练数据中加入对抗性示例来提高模型的鲁棒性。
- 引用了Goodfellow等人在2015年提出的方法，即利用FGSM（Fast Gradient Sign Method）生成对抗性示例并添加到训练集中。
- 讨论了Madry等人在2018年提出的min-max优化问题，通过迭代生成对抗性示例并训练模型。
-
随机化（Randomization）：
- 利用随机性来增强模型对对抗性扰动的鲁棒性。
- 描述了在输入、隐藏层输出或模型参数中引入随机性的几种方法。
-
投影（Projection）：
- 使用生成模型（如自编码器或生成对抗网络GAN）来拟合训练数据分布，并在测试时移除输入中的对抗性扰动。
- 论文中提到了MagNet和Defense-GAN等方法，这些方法通过投影输入样本到生成模型的输出上，以减少对抗性扰动的影响。
-
检测（Detection）：
- 这类方法旨在检测而非正确分类对抗性示例。
- 基于对抗性示例与自然数据的分布差异，使用不同的检测器来识别对抗性示例。
-
防御方法的比较：
- 论文通过数值实验比较了不同防御方法的性能，包括在MNIST和CIFAR10数据集上的测试准确率。
-
防御方法的效率和效果：
- 讨论了不同防御方法的效率，包括计算成本和对模型准确率的影响。
-
防御方法的理论基础：
- 论文还探讨了为防御方法提供理论保证的可能性，包括定义鲁棒性的概念和为防御方法分配鲁棒性分数。
-
未来研究方向：
- 论文最后提出了一些未来研究方向，特别是统计学在对抗性防御领域的潜在贡献，如研究对抗性示例的统计属性，改进决策基攻击的建模方法，以及为鲁棒防御方法提供理论保证。
Numerical Experiments
这部分旨在展示对抗性攻击方法如何影响不同的分类器，以及不同的防御方法如何提高模型的鲁棒性
- 实验目的：通过实际的数值实验来验证论文中讨论的对抗性攻击和防御方法的有效性。
- 使用的基准数据集：实验使用了两个广泛认可的基准数据集，MNIST和CIFAR10，来评估攻击和防御方法的性能。
- 攻击逻辑回归模型：首先，作者展示了如何使用投影梯度下降（PGD）攻击方法来攻击一个简单的逻辑回归模型，并报告了在攻击存在时模型的预测准确率下降情况。
- 比较不同的攻击方法：作者选择了几类代表性的攻击方法（梯度基、分数基和决策基），并在两个数据集上进行了比较。实验结果展示了不同攻击方法在不同ε（扰动强度）下的成功率。
- 比较不同的防御方法：作者选择了几类代表性的防御方法（对抗性训练、随机化、投影和检测），并在同样的数据集上进行了比较。实验结果展示了在不同PGD攻击强度下，各类防御方法保护下的模型准确率。
- 实验结果的可视化：论文中可能包含了一些图表或图像，用于直观展示不同攻击和防御方法的性能对比。
- 实验结论：基于实验结果，作者讨论了各种方法的优缺点，以及它们在实际应用中的潜在效用。
- 代码可用性：作者提供了实验中使用的计算代码的链接，以便其他研究者可以复现结果或进行进一步的实验。
Concluding Remarks
-
研究总结：作者强调了对抗性示例在机器学习安全中的重要性，并总结了论文中讨论的主要攻击和防御方法。他们指出，尽管已经取得了一定的进展，但这一领域仍然需要更多的研究。
-
统计学的贡献：论文特别强调了统计学在理解和防御对抗性攻击中的潜在作用。作者提到了一些利用统计学原理成功的攻击和防御方法，如EAD攻击和ER-Classifer。
-
未来研究方向：作者提出了几个具体的研究方向，供未来的研究者探索：
- 对抗性示例的统计属性：更深入地研究对抗性示例的统计特性，以便更好地理解它们并设计更有效的防御措施。
- 改进决策基攻击：开发更强的决策基攻击方法，这些方法在只能访问模型的预测标签时仍然有效。
- 鲁棒防御方法的理论保证：为防御方法提供严格的理论基础，包括定义鲁棒性的概念和为防御方法分配鲁棒性分数。
-
对抗性训练的效率：讨论了如何提高对抗性训练的效率，以便能够处理更大规模和更复杂的数据集。
-
模型的可扩展性和可靠性：强调了开发可扩展且可靠的防御方法的重要性，这些方法能够在不断增长的数据集和应用中保持其性能。