论文笔记：Delving into Data: Effectively Substitute Training for Black-box Attack

Exploring Data: Substitute Training Efficiently in the context of black-box attacks

主要内容

本文旨在介绍一种替代性训练方法：该研究从新视角开展替代模型训练工作，并聚焦于构建"知识窃取"过程中数据分布特征。具体而言，在这一过程中提出了D2GM多样化数据生成机制（Diverse Data Generation Mechanism, D2GM），并融入对抗式替代表现手法以优化目标与替代边界的一致性。通过A双模块协同作用实现了两者的高度一致

发表于CVPR 2021，与DaST (CVPR2020) 进行了对比

黑盒攻击分类

     * Score-based attack

     * Decision-based attack
     * Transferability-based attack

不足之处
在进行替身模型的训练过程中，通常需要对目标模型进行大量的查询操作，并通过收集输入样本及其对应的标签信息来进行替身模型的训练。核心在于评估输入数据来源与目标模型原来的训练数据是否存在关联？如果回答是肯定的话，则这种替代学习的方式能够显著简化替代学习的过程；然而，在这种情况下（使用原始数据来训练替身model），虽然简化了替代学习的过程（即替代学习变得更为便捷），但也带来了其他方面的局限性。

     * 在许多真实世界的视觉任务中，收集真实的输入数据也并非易事。

     * 目标模型的训练数据可以提高替身模型的性能，但是不一定对提高替身模型与目标模型的一致性有帮助

Motivation
最小化两者的决策边界是训练替身模型的核心任务。
从而迫使攻击者必须满足以下两个条件：

• 充足的、多样化的训练样本库
• 从防御策略的角度出发，在靠近防御边界的区域存放相关样例

Contribution
我们通过对生成式替代训练数据本质进行了深入剖析，并构建了一种新型的有效方案——基于生成式的替代训练范式——从而实现了无数据黑盒攻击性能的显著提升。
我们采用多样性的约束条件构建了DDG模块，并通过对抗性替代策略进一步优化了其性能。
我们在多个公开可用的数据集以及一个在线机器学习平台上进行了广泛的测试，并通过一系列详细的实验分析和直观的数据可视化展示了我们的方法在对抗性强势攻击中的卓越表现。

模型的框架

观察图可知

DDG模块
为了生成更具代表性的替代训练数据, 文章首次提出了一种新型的多样化数据生成模块（DDG）。该模块通过三个约束函数来调控生成图像的多样性。从理论上讲, 这些约束函数促使生成器G能够分别学习每一大类的数据分布特征, 同时维持各类之间的方差特性, 从而帮助替代模型有效地学习目标模型的知识结构。

Adaptive label normalized generator

Noise and Label reconstruction: To ensure greater diversity in generated data, this work introduces a reconstruction network R to reconstruct noise vectors, which serves as the reconstructed input. A constraint on label reconstruction involves computing the cosine distance between predicted labels and actual labels. Additionally, it calculates a cross-entropy loss between real labels and cosine distance.

Inter class Diversity 类间多样性：为了进一步提升各类数据间的多样性程度, 研究者们基于余弦相似矩阵的方法被用来最大化类间的距离

Alternating Segment Techniques (AST) 策略
其主要目标在于使替代模型（替身模型）与其目标模型在决策边界上达到更高的相似度；鉴于所施加的扰动幅度相对较小，在对抗训练过程中产生的对抗样本可以被视作位于目标模型决策边界附近的存在物。
具体而言，在每次训练迭代中，生成器首先会创建新的图像样本，并利用一组白盒攻击算法基于当前替代_model_S_生成相应的对抗样本；随后将这些合成图像和抗干扰样例整合到训练集中用于更新过程。

• 问题：
• 该方法如何生成label-embedding向量？
• 该模型如何利用两层全连接网络来获取label-embedding向量的均值与方差？
• 使用重构损失能够确保样本数据集的多样性吗？
• 为何选择使用重构损失作为评估标准？