深度学习论文: Decoupling Representation and classifier for long-tailed recognition及其PyTorch实现
Decoupling Representation and classifier in long-tailed recognition tasks, this method achieves superior performance by separating the representation layer from the classification layer.
1 概述
在分析分类任务的学习过程中，在一般性地认为需要将类别特征进行联合学习的基础上（分离），选择合适的特征表示方法以减少长尾类样本对分类性能的负面影响。
该分类网络被作者划分为representation learning和classification两部分，并对这两者在Long-tailed问题中的作用进行了系统地探讨。
实验结果表明：
高质量Representations能够有效地避开数据不平衡带来的负面影响。
仅采用随机采样方法提取特征后，在提升分类器性能方面表现突出。
2 表征学习（representation learning ）
(Sampling strategies)
2-1 样本均衡采样（Instance-balanced sampling）
该方法最为常用，在如下的公式所示的情况下，在每个训练样本被选中的机会概率均相等的情况下，在这种情况下，在如下的公式所示的情况下，在每个训练样本被选中的机会概率均相等。
2-2 类别均衡采样（Class-balanced sampling）
各类别等概率地被选中是一种均匀选取的方式；接着从各类别中进行样本抽取，则对应于上述公式中的q=0的情况。
2-3 平方根采样（Square-root sampling）
本质上是之前两种采样方式的变种，通常是将概率公式中的 q 定值为 0.5。
2-4 渐进式均衡采样（Progressively-balanced sampling）
基于训练过程中所经历的迭代周期 t（epoch），本研究提出了一种新型的采样方案。该方案不仅结合了样本均衡策略 IB 和类别均衡策略 CB 进行采样，并经过适当的权重分配以优化性能。其数学表达式为：S_{\text{new}} = \alpha S_{\text{IB}} + \beta S_{\text{CB}}
3 分类器学习（classifier learning）
3-1 重训练分类器（Classifier Re-training, cRT）
为了优化模型性能，在保持representations部分不变的前提下, 我们采用随机初始化其权重参数的方法, 并在训练初期阶段采用类平衡采样方法
3-2 最近类别平均分类器（Nereast Class Mean classifier, NCM）
首先，在training set中为每个类别计算其feature representations的均值；随后，在test set上进行最近邻检索。另一种方法是先对mean features进行L2-Normalization处理，并在此基础上采用余弦相似度或欧氏距离来衡量两者的相似性。研究者指出，在此过程中可以通过对特征向量施加归一化处理来缓解权重不平衡所带来的负面影响。
3-3 τ-归一化分类器（τ-normalized classifier）
对classifier权重normalized
若取\tau=1则对应标准L2归一化；而当\tau=0时不施加缩放操作。同时限定于\tau\in(0,1)其具体取值需通过交叉验证法确定。
3-4 Learnable weight scaling (LWS)
视 f_{i} 为一个可学习的参数；我们通过将 representations 和 classifier 两部分的 weights 固定为已知值来仅用于调整这些 scaling factors。
4 Experiments
通过各类对比实验，该研究得到了如下观察：
- 将表征学习与分类分离作为两个独立的过程进行优化研究后取得了显著成效，并成功颠覆了传统认知：即认为在长尾分类问题中样本均衡采样具有最优学习效果的同时还拥有最具泛化性的特征表示这种根深蒂固的观点已被证伪。
- 优化设置能够显著提升针对长尾分布物体识别任务的效果。
- 研究者提出了一种新型的解耦学习规则并将其具体应用于现有架构如ResNeXt系列网络中结果表明这种策略不仅能够维持原有模型的优势还能在一定程度上改善其在长尾分类任务中的表现这进一步证明了该方法的有效性和适用性。
5 训练注意事项
5-1 表征学习阶段
在学习过程中，应维持网络结构（例如，在global pooling之后无需添加额外的全连接层）。超参数选择方面，则需与常规分类任务中的一致性原则保持一致（例如ImageNet），从而保证表征质量。
类比平衡采样：为了防止各显卡上的分类样本分布过于集中，在实际应用中应当注意确保各显卡上的分类样本分布更为均匀以避免各类别在显卡间出现明显集中现象从而保证BN层的参数估计更加精准
渐进式均衡采样作为一种数据增强技术：其核心思想在于通过多阶段优化来提升模型性能。具体实施过程可分为两个阶段：首先需要根据目标确定相关的类别；其次在选定的类别中进行随机抽选以完成样本的均衡分布。
5-2.分类器学习阶段
重新学习分类器（cRT）：采用随机参数重置策略或基于已有特征表示模型进行迁移学习的方式，在训练过程中将优化器的学习率动态调整为初始值大小的同时采用余弦衰减的学习率策略。
τ归一化（tau normalization）：τ的选择通常基于验证集的性能评估；若未提供验证集，则可从训练集中模仿平衡构造的验证集，并参考原论文附录 B.5的内容获取具体实现细节
learnable scaling factor (LWS): learning rates are set in accordance with the cRT scheme. During the learning phase, the classifier parameters must remain unchanged, while only the scaling factors are updated.