Advertisement

论文阅读小结:Infrared head pose estimation with multi-scales feature fusion on the IRHP database for human

阅读量:

参考文献:

Hai Liu, Xiang Wang, Wei Zhang, et al. Infrared head pose estimation with multi-scales feature fusion on the IRHP database for human attention recognition. 2020, 411:510-520.

红外图像在抵抗光照改变和强透射光的场景下具有独一无二的优势。该论文主要建立了一个红外头部姿态数据集并在此数据集的基础上提出了一个新的CNN网络。
常用的头部姿态估计的数据集:
在这里插入图片描述
相关工作:
由于头部姿态的连续性,数据集中离散的角度值不能完全地表达头部姿态。头部姿态估计数据集大致可分为两类:实验室下的HPE数据集和基于网络的HPE数据集。
基于头部姿态估计数据集,很多HPE的算法被提出去估计姿态角,其大致可分为两类:以脸部特征为基础的HPE方法和以CNN为基础的HPE方法,这是按照特征提取的方式划分的,前者的精度主要取决于能够选择出可以代表头部姿态的合适的脸部特征。
传统方法:
Gabor小波变换(Gabor wavelets transform)被用来增强姿态的特征信息并且能捕获细微的特征。方向梯度直方图(HOG)特征是能够描述头部姿态的边界、几何信息的特征,并且对光照鲁棒。局部二值模式(LBP)特征被用来描述人脸的纹理特征。
深度学习方法:
Hope-Net、Quat-Net、KEPLER、HR-Net、 FSA-Net。
论文所提出的网络(多尺度特征融合):
在这里插入图片描述
网络最后输出的g(0)到g(3)特征向量,将高层抽象的纹理信息和低层丰富的空间信息结合在一起。
该论文中,对于特征融合的方式:
(1)Connect fusion (CF);
(2)Weighted fusion (WF)
(3)Complex vector fusion (CVF)

全部评论 (0)

还没有任何评论哟~