论文那些事—NESTEROV ACCELERATED GRADIENT AND SCALEINVARIANCE FOR ADVERSARIAL ATTACKS

基于Nesterov加速梯度以及尺度不变性的系统性研究：针对对抗攻击的创新性分析（ICRL2020,NI-FGSM,SIM）

1、摘要

在本文中，在将对抗性样本的生成视为一个优化问题的基础上提出了新型方法——基于Nesterov加速梯度符号法（NI-FGSM）和缩放不变攻击法（SIM）。其中 NI-FGSM 的核心目标在于通过引入Nesterov加速技术到迭代过程中，在预测阶段实现更好的效果。

本文贡献有以下三点：

1. 为了解决这一问题, 我们将Nesterov加速技术应用于迭代梯度攻击中, 并通过这一改进显著提升了对抗性例子转移的能力.
2. 深度学习模型具有缩放不变特性, 因此我们通过对缩放下生成图像副本上的抗扰动优化, 进一步提升抗受试者攻击效果.
3. 结合NI-FGSM和SIM等抗受试者方法与现有梯度攻击手段, 取得了较为理想的黑盒攻击成功率.

2、NI-FGSM原理

Nesterov Accelerated Gradient (NAG) 是一种梯度下降法的改进型算法：其本质上是对动量的一种优化。

对先前叠加得到的梯度实施求导运算以确定方向。其中图中的红线表示NAG预测的方向并将该结果平移至当前梯度的位置（以橙色线条标记）。随后将该结果与动量项相加从而获得最终的更新方向。

会发现这种利用先前梯度预测未来梯度的方法确实有效，路径变短了。

整合进I-FGSM后变为NI-FGSM：

在计算每次迭代中的梯度之前，沿着之前累积的梯度的方向跳跃。

3、Scale-Invariant Attack Method（SIM）

Loss-preserving Transformation：

具体来说，在同一模型上，原始图像和缩放图像的损失值是相似的。

Model Augmentation：

研究者注意到不仅具有平移不变性还具备尺度不变性。在同一个模型中计算原始图像及其缩放版本（通过将像素值乘以一个倍数获得）时发现它们对应的损失值非常接近。基于这一特性将其视为一种模型增强的方法从而构建出目标函数模型

具体而言，在这一方法中，我们采用了缩放图像后计算出的平均梯度来替代当前计算所得的梯度。其原因在于基于图像缩放带来的不变特性，并且经过实验发现其损失值相近。其中S_{i}\left ( x \right )=x/2^{i}表示经过缩放处理后的图像，m则代表该图像被复制并处理后的次数。

就缩放不变性而言，文中缺乏理论阐述。然而通过实验验证可知，在缩放因子位于区间[0.1, 1.3]时，原图像与其缩放版本之间的损失表现一致。

SI-NI-FGSM算法流程：

4、实验结果

对单独模型的攻击， * 号表示白盒攻击：

对集成模型的攻击：

攻击经典的防御模型：

5、总结和不足

在学习动量法的过程中我也产生了对Nesterov加速梯度法的想法。没有想到的是这两篇论文之间相隔的时间相当长。SIM方法确实具有创新性。然而它依然未能给予充分的解释。都是实验结果的表现形式。