计算机视觉任务及常用数据集
图1 计算机视觉任务
一、图像分类(Image classification)
为图像赋予一个或多个语义标签，见上图1-a。
1、常用数据集
| 类别 | 训练数据 | 测试数据 | 图片格式 | |
|---|---|---|---|---|
| Mnist（分辨率28*28） | 10 | 50000 | 10000 | Gray |
| Cifar-10（分辨率32*32） | 10 | 50000 | 10000 | RGB |
| ILSVRC（分辨率几百*几百） | 1000 | 1200000 | 150000 | GGB |
2、ILSVRC
大规模图像识别挑战赛，覆盖图像分类、定位、检测、视频目标检测等。top-1 error和top-5 error（预测前5个类型，如果含有groundtruth类别，不做惩罚）。
3、ImageNet与ILSVRC
ImageNet数据集包含21841个类别，14197122张图片；从中挑选1000类的120000张作为训练集。
二、图像检测(Object location)
找到图像的分类及所在的位置，见上图1-b。
问题难点：物体尺寸变化大，位置、角度、姿态不定，另外物体还有多个类别。
1、PASCAL VOC(The PASCAL Visual Object Classification)
目标检测、分割领域有名的数据集，被看成目标检测问题胡基准数据库。2005-2012年，共举办8个不同的挑战赛。含20个类型。
VOC2007含9963张图片，共24640个物体。VOC2012含11540张图片，共27450个物体。
2、MS COCO(Microsoft Common Objects in Context通用物体检测)
目标检测、分割、位置、标签的数据集。COCO数据集共有12个大类，80个小类。
COCO2014，训练集82783张图片，验证集40504张图片，共计123287张图片。
COCO2017，训练集118287张图片，验证集5000张图片，共计123287张图片。
3、object365
旷视科技发布通用物体检测数据集，含63万张图片，覆盖365个类别，边界框高达1000万个。图片数量是COCO的5倍，标注框超过COCO11倍。
密集标注，注重目标间关系，如下图2，左脚和右脚分别标注。
图2 Object365标注
三、图像语义分割（Segmantic segmentation)
确定物体分类，并精确勾勒物体位置。见上图1-c。
1、Cityscapes
城市道路与交通语义分割数据集，8个大类，30个种类胡像素级别标注。含5000张精准标注图像，20000张标注图像，来自50多个城市。
图3 CityScapes标注
四、图像实例分割（Instance segmentation)
多个同类物体存在，一一区分出来。见上图1-d。
五、图像标题生成(Image Caption)
为图像生成一句话的描述文字，见图4。
图4 图像标题生成
要为图片生成标题，首先要理解图片的主要内容，在图片内容和语言文字间建立语义关联。主要方法基于encoder-decoder模型，其中encoder一般为卷积神经网络，利用最后全连接层或卷积层特征作为图像特征，decoder一般为递归神经网络，用于图像描述生成。见图5。除encoder-decoder外，还有基于注意力和MS-Captivator方法。
图5 encoder-decoder模型
六、图像内容生成
创作一幅新的图像。
1、图像超分辨率
由一幅低分辨率图像或图像序列恢复出高分辨率图像，如图8。常见网络bicubic（双三次插值）、SRResNet、SRGAN。
图8 图像超分辨率
2、图像风格转换
Pix2pix、CycleGAN、GcGAN。