第二问：小滤波器（卷积核）为什么有效？
发布时间
阅读量：
阅读量
一般而言，几个小滤波器卷积层的组合比一个大滤波器卷积层更好，比如层层堆叠了3个在3×3的卷积层，中间含有非线性激活层，在这种排列下面，第一个卷积层中每个神经元对输入数据的感受野是 3×3，第二个卷积层对第一个卷积层的感受野也是3×3，这样对于输入数据的感受野就是5×5，同样，第三个卷积层对第二个卷积层的感受野是3×3，这样第三个卷积层对于原始输入数据的感受野就是7×7。
假设这里不使用3个3×3的感受野，直接单独使用一个7×7大小的卷积层，那么所有神经元的感受野也是7×7，但是这样会有一些缺点 。多个卷积层首先与非线性激活层交替的结构，比单一卷积层的结构更能提取出深层的特征；其次，假设输入数据体的深度是C，输出体的深度也是C，那么单独的7×7的卷积层会有7×7×C×C=49×C^{2}的参数个数，而使用3个3×3的卷积层的组合，仅仅含有3×(3×3×C×C)=27×C^{2}的参数个数。直观来说，选择小滤波器的卷积组合能够对输入数据表达出更有力的特征，同时使用的参数也更少。唯一不足的是反向传播更新参数的时候，中间卷积层可能会占用更多的内存。
全部评论 (0)
还没有任何评论哟~