笔记：harvesting discriminative meta objects with deep CNN features for scene classification

本文阐述了一种基于CNN特征的技术框架，在特定场景中通过解析元目标（meta objects）实现场景理解的过程。这一假设认为同一场景的类别与其所包含的对象之间存在密切关联。该技术主要包括以下步骤：首先，在图像中生成候选区域proposals，并从中选择具有代表性的patch；其次，在候选patch集合中筛选出与meta objects相关联的关键区域；接着通过聚类方法发现潜在的空间模式；随后构建全局图像特征并完成分类任务。具体而言，该流程可分解为以下五个步骤：第一步在整个图像上生成region proposals并选择候选patch；第二步从候选patch中筛选出与meta objects相关的区域；第三步对这些关键区域进行聚类以发现潜在的空间模式；第四步构建全局图像特征；第五步完成分类任务（如图所示）。

下文将从五个方面对所提出的方法进行详细分析。
1）区域建议生成（Region Proposal Generation）
首先需要从场景图像中提取区域建议框（Region Proposals）。具体而言，在本研究中我们采用了Arbeláez等人在2014CVPR上发表的《Multiscale combinatorial grouping》一文中提出的MCG方法。该方法的具体实现包括以下两个关键步骤：首先通过无监督学习的方式训练一个One-Class SVM分类器（One-Class SVM），该分类器能够自动识别并筛选出频次较高的区域建议框（representative proposals）；其次利用预训练在Places数据集上的CNN模型提取特征，并将这些特征定义为区域建议框（patches）的表现形式。
2）筛选过程（Patch Screening）
针对每个类别中的样本进行筛选时会采用以下两种策略：
（一）层次化筛选机制
首先会对每个类别中的所有图像生成多个区域建议框；然后对这些区域建议框进行层次化筛选：
第一层：基于One-Class SVM分类器进行初步筛选；
第二层：采用概率积分法（Probability Integral Method）进一步优化筛选结果；
第三层：结合几何约束条件（Geometric Constraints）进行最终筛选。
（二）加权评估机制
对于经过初步筛选后的代表型区域建议框（representative patches），我们需要对其重要性进行量化评估：
首先根据该分类器输出的概率值进行加权；其次结合图像标签信息（label information）对权重进行归一化处理；最后按照权重大小对候选区域建议框进行排序。

其中i为图像索引j为patch索引w(ij)代表第i幅图像中第j个patch的权重p(ij)表示第i幅图像中第j个patchy(i)代表第i幅图像样本的label可以看出其计算最终转化为后验概率即：在包含p(ij)的图像中label与第i幅图像相同所占的比例由于现有的patches并未被标注也没有类别信息因此无法直接判断patches之间是否相同最终采用了近似的方法寻找patches中K个最近邻其中包含这K个最近邻且具有相同label的图像数目记为将两者的比值作为估计权重这里并未具体说明如何判断最近邻的方法也没有找到相关代码推测其使用特征向量间的欧式距离来进行计算这个权重也被用于对patches进行筛选策略即直接删除一些权重较低的patches删除的比例通过cross validation进行了优化实验发现仅仅使用这些processed patches并不能满足需求因此采用了data augmentation的方式将其扩充了4倍

个人笔记，多多指教~