Advertisement

Deformable Convolutional Networks(可变形卷积)

阅读量:

https://github.com/lixiaolei1982/Deformable-ConvNets
一,《Deformable Convolutional Networks》是一篇2017年Microsoft Research Asia的研究。基本思想也是卷积核的采样方式是可以通过学习得到的。作者提出了两种新的op:deformable convolution和deformable roi pooling,主要是通过给传统卷积采样点加offsets的方式来获得新的采样点。
传统卷积窗口只要训练每个卷积窗口的像素权重参数即可。而可变形卷积网络必须外加一些参数用来训练卷积窗口的形状(各个像素的偏移向量offset)
(a)标准卷积的规则采样网格(绿点)。
(b)变形的采样位置(深蓝点),在可变形卷积中具有增强偏移(浅蓝色箭头)。
(c)和(d)是(b)的特殊情况,表明变形卷积概括了各种尺度变换、(各向异性)纵横比和旋转。
在这里插入图片描述
二,Deformable Convolution
offset field就是变形卷积外加的待训练参数,大小和输入层图片大小一样(input feature map)但channel数量为2,分别代表下xy方向的偏移量,卷积窗口在offset field上滑动就呈现了卷积像素偏移的效果,达到采样点优化的效果。
在这里插入图片描述
三,Deformable RoI Pooling
在实际使用中,若pooling的目标为一个3 3的featrue map,那么我们需要2×3×3个偏置对应每一个bin,首先将输入的featrue map进行roi pooling为3 3大小的feature,然后通过全连接,输出为每一个bin(输出feature map大小决定bin个数)对应的offset。同时为了保证采样大小,需要对offset进行normalization。
在这里插入图片描述

全部评论 (0)

还没有任何评论哟~