去雾综述_综述 | 对比自监督学习技术:全面调研
20页的综述性文章共计包含了84篇参考文献。本文系统性地研究了最近CV与NLP领域中对比学习方法展现出卓越效果的自监督学习方案(其中包含SwAV、MoCo系列以及SimCLR系列等具有代表性的对比学习方法)。
A Survey on Contrastive Self-supervised Learning

作者单位:德克萨斯大学阿灵顿分校
论文: https:// arxiv.org/abs/2011.0036 2
特别提醒:在文末处提供了一个CV学习交流群的链接,请注意查看
自监督学习因其降低了标注大型数据集的成本而广受欢迎。该方法通过使用自定义伪标签进行监督,并将其学到的表示应用于多个下游任务。具体来说,对比学习已成为计算机视觉、自然语言处理(NLP)以及其他领域的主要研究方向之一。其目标是使同一样本的不同增强版本彼此接近地嵌入,并尽力使这些嵌入远离来自不同样本的结果。


本文对基于对比学习的自监督学习方法进行了系统性的综述。该研究探讨了对比学习框架中所采用的关键基础性任务,并分析了现有各种体系架构的发展脉络及其内在联系。

随后,我们的研究团队对多个相关领域任务(如图像识别技术、物体检测与行为分析)的各种方法进行了性能对比分析。



自然语言处理(NLP)中的对比学习


最后,我们对当前方法存在的局限性进行了综合分析,并探讨了未来研究和技术手段的方向以确保能够实现实质性的进展。
论文下载
链接: https:// pan.baidu.com/s/1btTbOb 2t8pq95bvHuc1Shg
提取码:cver
CVer-学术交流群
现已成为计算机视觉领域的重要学习平台!如若要加入CVer学习交流群的同学,请通过扫描二维码添加CVer5555微信(注:添加时请备注您的研究领域、所属院校及个人昵称),经管理员拉入后即可参与讨论与学习
建议大家订阅CVer知乎账号以及CVer微信公众号, 即可轻松获取到最新优质的CV相关文章.
推荐阅读
85.4 mIOU!NVIDIA:使用多尺度注意力进行语义分割
深入研究Label Smoothing(标签平滑)
使用PyTorch时,最常见的4个错误
NeurIPS 2020 | Auto-Panoptic:用于全景分割的协作式多组件体系结构搜索
NeurIPS 20 | RelationNet++: Transformer桥接视觉表示的目标检测
利用YOLOv4和Deep SORT实现多摄像头实时目标跟踪和计数(已开源)
NeurIPS 20 | 超越EfficientNet!TinyNet:玩转网络的分辨率,深度和宽度
涨点技巧!汇集13个Kaggle图像分类项目的性能提升指南
利用知识蒸馏改进目标检测:面向准确高效的检测器
使用深度学习从视频中估计车辆的速度(已开源)
ECCV 2020 | 旷视开源LabelEnc:提升目标检测的新型中间监督方法
这9个技巧让你的PyTorch模型训练得飞快!
牛津博士论文 | 学习重建和分割3D目标(143页PDF)
谷歌近期推出了名为Objectron的新数据集。该数据集能够精确识别3D目标,并包含超过4,000,000张图像样本和15,000个视频片段剪辑。
综述 | MIT提出视频理解/行为识别:全面调研(2004-2020)
综述 | 基于无人机的目标跟踪的相关滤波器:全面调研
从三个维度加速你的CNN:全面的剪枝框架
Recall Loss:用于不平衡图像分类和语义分割的召回损失
即插即用!Rotate to Attend:卷积Triplet注意力模块
旷视提出MegDetV2:目标检测/实例分割系统
综述 | 基于深度学习的医学图像分割技术:全面调研
ResNet还是DenseNet?即插即用的DS涨点神器来了!
综述 | 基于深度学习的端到端人脸识别技术:全面调研
TBC:共享Thinner Filters,实现更强的CNN!
综述 | 行人检测技术(从手工特征到深度学习):全面调研
超越EfficientNets!无需注意力,也能让你的网络更快更强!
OpenCV 4.5来了!更强的SIFT,改进RANSAC算法,新增目标跟踪网络SiamRPN++
综述 | 基于深度学习的实时语义分割方法:全面调研
涨点神器!南航提出AFF:注意力特征融合
NeurIPS 2020 | 谷歌大脑提出:重新思考预训练和自训练
NeurIPS 2020 | 用于图像复原/恢复的神经稀疏表示
NeurIPS 2020 | aLRPLoss:统一目标检测中的分类和定位的平衡损失函数
CCE:具有互补交叉熵的不平衡图像分类
谷歌地标检索2020 Kaggle 第一名解决方案
ECCV AIM 2020 真实图像超分辨率挑战赛3项冠军解决方案
LVIS 实例分割挑战赛2020的第一名解决方案:好的Box不能保证好的Mask
ETH Zurich提出DPIR:具有Denoiser先验的即插即用图像恢复
ECCV 2020 | NAS-DIP:通过NAS实现DIP(去噪/去雾/超分辨率/修复等)
综述 | 小样本学习:全面调研(Few-shot)
使用深度神经网络从Noisy Labels中学习:全面调研
剪枝filter?还是剪枝layer?这是个问题
ECCV 2020 | WeightNet:重新探索Weight网络的设计空间
ECCV 2020 | 53.5 AP!PAA:用于目标检测的IoU预测的概率Anchor分配
ECCV 2020 | 南京理工提出FPT:特征金字塔Transformer
ECCV 2020 | BMask R-CNN:边界保持的Mask R-CNN
ECCV 2020 | 即插即用!PSConv:将特征金字塔压缩到紧凑
