Learning Spatiotemporal Features with 3D Convolutional Networks论文阅读

通过3D卷积网络学习时空特征

Abstract

有三点结论：

1.3D卷积网络比2D卷积网络要更适合于时空特征的学习。

2.相同的网络结构，在所有的层中使用3x3x3的卷积核在所有的3D卷积网络中表现最好。

3.我们的C3D特征（通过3D卷积提取的特征）应用在简单的线性分类器上比当下最好的方法在4个不同的评估基准上要更好，在另外两个评估基准上与之相当。

此外特征是很小型紧凑的：在UCF101数据集上使用仅仅10层网络达到了52.8%的准确率。并且由于卷积网络快速的预测，该方法计算非常高效。

1.Introduction

有效的视频描述符有四个属性：

（1）它需要是通用的 ，这样它就可以很好地表示不同类型的视频，同时具有判别力。

（2）描述符必须是可靠的 ，因为我们处理的视频是百万数量级的，可靠的描述符使得处理，存储，检索等任务更具可扩展性。

（3）它应当是计算高效的 ，现实世界中要求能每分钟处理百上千的视频。

（4）必须应用简单 ，例如线性分类器。

目前的针对图片的神经网络及其训练的模型不适合视频，因为缺少运动建模。我们的这项工作利用3D卷积网络在大规模的监督训练数据集和现代深层架构的背景下，实现了对不同类型视频分析任务的最佳性能。从3D卷积网络提取出来的特征encapsulate概括了描述了一个视频中与物体，场景，行为有关的信息，并且让它们在不需要针对每个任务微调的情乱下变得有用。

总结：

1.通过实验表明了3D卷积网络能同时对外观和运动建模，是良好的特征提取器。

2.经验性地发现对所有层使用3x3x3的卷积核效果最好。

3.C3D特征（通过3D卷积提取的特征）应用在简单的线性分类器上比当下最好的方法在4个不同的评估基准上要更好，在另外两个评估基准上与之相当。

2.Related Work

前人工作概述。

3.Learning Features with 3D ConvNets

3.1.3D convolution and pooling

通过三维卷积和三维池化，我们能够对时间信息更好地建模。在3D卷积网络中卷积和池化在时空同时操作而2D卷积中仅仅在空间上。2D卷积丢失了时间信息而3D卷积通过输出一个体积形式保留了时间信息。池化操作同理可得。

大多数2D卷积网络在做完第一次卷积操作之后就丢失了原有的时间信息。

在寻找最佳结构的时候，我们固定了卷积核的大小为3x3，改变时间维度上的深度。

网络的输入为c l h w。即通道数，帧长度，每帧的高度和宽度，输出为视频的标签label。针对UCF101输入为3 16 128 271，其中视频被不重叠地每16帧分割一次。

3.2.Exploring kernel temporal depth

3.3.Spatiotemporal feature learning

提出的C3D网络结构如下图所示。其中所有的3D卷积核为3x3x3，stride为1x1x1，池化层中pool1的核尺寸为1x2x2，stride为1x2x2，此目的是为了在前面的阶段保留时间信息。其余的池化层尺寸都为2x2x2，stride为2x2x2。每个fc层的输出为4096.

训练数据集为Sports-1M，当前最大的视频分类数据集。包含1.1百万个视频，487个运动类别。

Training: Training is done on the Sports-1M train split.As Sports-1M has many long videos, we randomly extract five 2-second long clips from every training video. Clips are resized to have a frame size of 128 171. On training, we randomly crop input clips into 16112112 crops for spatial and temporal jittering. We also horizontally flip them with 50% probability. Training is done by SGD with minibatch size of 30 examples. Initial learning rate is 0:003, and is divided by 2 every 150K iterations. The optimization is stopped at 1.9M iterations (about 13 epochs). Beside the C3D net trained from scratch, we also experiment with C3D net fine-tuned from the model pre-trained on I380K(先前从头训练出的C3D模型).