Advertisement

去雾综述_综述 | 对比自监督学习技术:全面调研

阅读量:

20页的综述性文章共计包含了84篇参考文献。本文系统性地研究了最近CV与NLP领域中对比学习方法展现出卓越效果的自监督学习方案(其中包含SwAV、MoCo系列以及SimCLR系列等具有代表性的对比学习方法)。

A Survey on Contrastive Self-supervised Learning

ce96f5dee2eaba577a4c5c9be6eda2a7.png

作者单位:德克萨斯大学阿灵顿分校
论文: https:// arxiv.org/abs/2011.0036 2

特别提醒:在文末处提供了一个CV学习交流群的链接,请注意查看

自监督学习因其降低了标注大型数据集的成本而广受欢迎。该方法通过使用自定义伪标签进行监督,并将其学到的表示应用于多个下游任务。具体来说,对比学习已成为计算机视觉、自然语言处理(NLP)以及其他领域的主要研究方向之一。其目标是使同一样本的不同增强版本彼此接近地嵌入,并尽力使这些嵌入远离来自不同样本的结果。

a5eaaadf76fbe1afb102aebaaa04867d.png
a89feb425b6a26cb0859f97d3eb1d0ff.png

本文对基于对比学习的自监督学习方法进行了系统性的综述。该研究探讨了对比学习框架中所采用的关键基础性任务,并分析了现有各种体系架构的发展脉络及其内在联系。

5c0b3182ad9611499be68274dd70b55c.png

随后,我们的研究团队对多个相关领域任务(如图像识别技术、物体检测与行为分析)的各种方法进行了性能对比分析。

3b94d79285d2d3031ea7b0419261966e.png
530d151571a4676a72e4a17c59015a5c.png
efad4fef50b1f0266792cbdece1eb2b6.png

自然语言处理(NLP)中的对比学习

509bcbf13e877dda262df006f17c4a91.png
bc3245b758eeaac66a1afc37a2784980.png

最后,我们对当前方法存在的局限性进行了综合分析,并探讨了未来研究和技术手段的方向以确保能够实现实质性的进展。

论文下载

链接: https:// pan.baidu.com/s/1btTbOb 2t8pq95bvHuc1Shg
提取码:cver

CVer-学术交流群

现已成为计算机视觉领域的重要学习平台!如若要加入CVer学习交流群的同学,请通过扫描二维码添加CVer5555微信(注:添加时请备注您的研究领域、所属院校及个人昵称),经管理员拉入后即可参与讨论与学习

建议大家订阅CVer知乎账号以及CVer微信公众号, 即可轻松获取到最新优质的CV相关文章.

推荐阅读

85.4 mIOU!NVIDIA:使用多尺度注意力进行语义分割

深入研究Label Smoothing(标签平滑)

使用PyTorch时,最常见的4个错误

NeurIPS 2020 | Auto-Panoptic:用于全景分割的协作式多组件体系结构搜索

NeurIPS 20 | RelationNet++: Transformer桥接视觉表示的目标检测

利用YOLOv4和Deep SORT实现多摄像头实时目标跟踪和计数(已开源)

NeurIPS 20 | 超越EfficientNet!TinyNet:玩转网络的分辨率,深度和宽度

涨点技巧!汇集13个Kaggle图像分类项目的性能提升指南

利用知识蒸馏改进目标检测:面向准确高效的检测器

使用深度学习从视频中估计车辆的速度(已开源)

ECCV 2020 | 旷视开源LabelEnc:提升目标检测的新型中间监督方法

这9个技巧让你的PyTorch模型训练得飞快!

牛津博士论文 | 学习重建和分割3D目标(143页PDF)

谷歌近期推出了名为Objectron的新数据集。该数据集能够精确识别3D目标,并包含超过4,000,000张图像样本和15,000个视频片段剪辑。

综述 | MIT提出视频理解/行为识别:全面调研(2004-2020)

综述 | 基于无人机的目标跟踪的相关滤波器:全面调研

从三个维度加速你的CNN:全面的剪枝框架

Recall Loss:用于不平衡图像分类和语义分割的召回损失

即插即用!Rotate to Attend:卷积Triplet注意力模块

旷视提出MegDetV2:目标检测/实例分割系统

综述 | 基于深度学习的医学图像分割技术:全面调研

ResNet还是DenseNet?即插即用的DS涨点神器来了!

综述 | 基于深度学习的端到端人脸识别技术:全面调研

TBC:共享Thinner Filters,实现更强的CNN!

综述 | 行人检测技术(从手工特征到深度学习):全面调研

超越EfficientNets!无需注意力,也能让你的网络更快更强!

OpenCV 4.5来了!更强的SIFT,改进RANSAC算法,新增目标跟踪网络SiamRPN++

综述 | 基于深度学习的实时语义分割方法:全面调研

涨点神器!南航提出AFF:注意力特征融合

NeurIPS 2020 | 谷歌大脑提出:重新思考预训练和自训练

NeurIPS 2020 | 用于图像复原/恢复的神经稀疏表示

NeurIPS 2020 | aLRPLoss:统一目标检测中的分类和定位的平衡损失函数

CCE:具有互补交叉熵的不平衡图像分类

谷歌地标检索2020 Kaggle 第一名解决方案

ECCV AIM 2020 真实图像超分辨率挑战赛3项冠军解决方案

LVIS 实例分割挑战赛2020的第一名解决方案:好的Box不能保证好的Mask

ETH Zurich提出DPIR:具有Denoiser先验的即插即用图像恢复

ECCV 2020 | NAS-DIP:通过NAS实现DIP(去噪/去雾/超分辨率/修复等)

综述 | 小样本学习:全面调研(Few-shot)

使用深度神经网络从Noisy Labels中学习:全面调研

剪枝filter?还是剪枝layer?这是个问题

ECCV 2020 | WeightNet:重新探索Weight网络的设计空间

ECCV 2020 | 53.5 AP!PAA:用于目标检测的IoU预测的概率Anchor分配

ECCV 2020 | 南京理工提出FPT:特征金字塔Transformer

ECCV 2020 | BMask R-CNN:边界保持的Mask R-CNN

ECCV 2020 | 即插即用!PSConv:将特征金字塔压缩到紧凑

全部评论 (0)

还没有任何评论哟~