Cross-Spectral Image Patch Matching by Learning Features of the Spatially Connected Patches 论文阅读
摘要：由于不同的成像原理造成跨光谱图像块的匹配存在困难与挑战；根据不同光谱的成像数据在高级特征桑语义特征存在共同性，（共享语义特征空间）更好的学习，提出了（SCFDM:__ progressive comparison of spatially connected feature
metric learning with a feature discrimination constrain）使用特征差分约束的度量学习-空间对比连接特征网络；此网络保持了在其相对应的光谱域的底层特征，在高层特征空间进行跨光谱特征的交互，特征差分约束增强了网络框架去提炼共享的高级语义特征；
1.简介
•可见光:依赖光照
•红外：不依赖光照，但无颜色信息
•深度：超声波，核磁共振等
获取更加丰富复杂的信息必然进行相互补充，第一步就需要校准，问题就是 不同的成像光谱所产生的图片，存在非线性的表面特征差别；
| 传统的基于手工特征提取 | SIFT,SURF,shape-context,ORB SURF(speeded-up robust feature) BRIEF(binary-robust-independent-elementary features) .. |
|---|---|
| 最近几年的深度学习 | |
| 1、基于深度学习的局部特征学习 | 在于 特征距离选择、损失函数设计、训练样本挖掘等 |
| Traditional cnn ,Siamese-network,__ a positive-negative network二、三、四层网络设计、相似性度量等 | |
| 2、度量学习 | 把匹配任务转换为分类任务 |
| 如图的两种 | |
| 共同的特点都是针对单光谱的图片匹配 |
2、网络分析
| 特征提取网络 | 目前：提取特征 进一步阐述了像素级别与图像块的区别、并采用图像块的原因 每层的卷积核的作用，感受野也是逐步增加 2-branch设计，加速空间对比 |
|---|---|
| 度量网络 | 组成：3个FC+softmax （在FC中使用了dropout=0.25避免overfitting） 度量学习：cross_entropy |
| 特征差分网络 | 对特征图进行全局平均池化，减少参数/避免过拟合 约束： 差分使用欧式距离  |
目的：enforcing the network to extract patch features from the shared space
- 去除提取的低价特征，保留高级的语义特征
- 借用度量学习的优势，建立度量特征差分约束，对比连接的空间特征
a progressive comparison of spatially connected feature metric learning with a feature discrimination constrain (SCFDM)the feature network is constrained by a contrastive loss, which penalizes the non-matched patch-pairs with a small distance and the matched patch-pairs with a larger distance. The cross-entropy loss function of metric learning network optimizes the whole framework, which makes the predicted matching labels more consistent with the ground truth
效果与结论：
3 总结：
提出了基于特征差分约束的度量学习共享特征解决跨光谱图像块的匹配问题，在单一光谱图片块与跨光谱图像块的实验的结果显著，我们考虑这是由于两个方面的原因：1去除提取的低价特征，保留高级的语义特征2借用度量学习的优势，建立度量特征差分约束， 约束特征网络去抽取共享语义空间特征，由于这种特征约束的存在，特征差分网络取得了在精度与广泛性上的优势；在未来的工作中，我们将研究更适用于跨光谱融合图像块融合的方法