【深度学习：Self-supervised learning (SSL) 】自我监督学习解释_深度学习ssl

【深度学习：SSL Self-supervised learning 】自监督学习解释

• • 什么是我监督学习？
  • • 比较自监督学习与监督学习和无监督学习

• 自监督学习在计算机视觉模型中为何被采用？

• 自监督学习的优势体现在哪些方面？它如何在提升模型性能方面发挥作用？

• 其局限性主要表现在哪些方面？这种限制如何影响实际应用中的表现？

探讨自监督学习的工作原理

潜在的应用领域包括医疗成像技术以及机器人学等学科。在医疗成像方面，在2D图像的基础上实现3D旋转变换；在机器学习（ML）框架下通过语义关联帧序列来进行视频运动预测；此外，在机器人学领域中借助自监督学习机制实现系统的自主性

* 要点总结

自监督学习（SSL）是一种基于原始、无标注数据训练算法模型的人工智能（AI）方法。自监督模型通过预训练阶段生成标签与注释，并不断优化以实现高精度的地面实况结果；从而让模型可以直接应用于生产环境。

如果您遇到时间和资源上的困难来标注数据集上的数据点，在机器学习领域中使用SSA可能是一个很好的解决方案。与无监督学习不同，而且无需投入大量时间进行标注。

在本文中，我们将解释自监督学习，包括：

• 简述自监督学习的概念。
  • 它在理论框架上如何与其他两种主要的学习方法——即有监督式（supervised learning）与无 supervision式（unsupervised learning）——形成对比？
  • 在理论层面的优势及其局限性分别是什么？
  • 自监督式机器人的基本原理是什么？其应用流程包含哪些关键步骤？
  • 在哪些具体领域中被广泛应用？特别是在计算机视觉方面，请详细说明其应用动机及优势。

让我们开始吧…

如何理解监督学习？

This self-supervised learning paradigm enables the model to utilize unlabeled data during the training process.

它不依赖于大量标注的数据样本（在监督学习场景中），而是通过非结构化输入对数据进行自动标注。

在计算机视觉（CV）中，您可以采用单色调图像或未完成的图像来进行机器学习模型的训练阶段，并以预测剩余部分及其色彩走向为目标

自监督学习因其显著的应用价值，在计算机视觉与自然语言处理领域展现出独特的优势。生成这些标注数据的开销通常高达数千甚至上百万的数量级。通过自监督方法，在有限的数据资源下训练模型不仅节省资源投入还能提高效率。

如果模型积累充足的数据，并通过迭代过程产出高质量的结果时，它能够更快地达到生产就绪状态。

对比分析自我监督学习与其他两种方法即监督学习以及无监督学习之间的异同点

在我们深入探讨自监督学习之前, 通过对比分析其与两种主要替代方法的关系, 这种研究具有重要意义: 监督学习对应于有标签训练, 而无标签训练则对应于无监督学习。

监督学习

无监督学习 基于未标注数据进行模型训练，在这种情况下，模型试图识别数据中的规律与关联，并不需要提供明确的标签反馈。

自监督学习

无监督学习的核心任务包括聚类分析、数据降维以及分组技术等多方面内容。这种 SSL 方法本质上属于无监督学习范畴，并且其特殊性在于能够处理复杂的非标签数据特征提取问题。然而，在输出结果形式上却存在显著差异。

另一方面，自监督学习用于执行分割、分类和回归任务，这与监督学习类似。

除此之外,比如半监督学习,则处于两者之间的位置.我们打算将半监督学习归入到另一篇关于模型训练和学习方法的文章中.

让我们来探讨一下计算机视觉为何需要采用自监督学习方法（SSL），这一技术所带来的优势主要体现在哪些方面？此外，请详细阐述其工作原理是什么？最后，请列举一些实际应用场景以进一步说明其重要性

探讨一下计算机视觉模型为何需要采用自监督学习这一技术路径

在计算机视觉领域中，采用自监督学习是一种常见且必要的方法。标注相关数据不仅耗时且成本高昂。

在高度专业的领域中，在医疗保健等领域的处理过程中必须由专业的技术人员进行标注和标记。

自监督学习可作为标记大量数据的替代方法 - 该过程具有高昂成本及所需时间 ，即便采用自动数据标记系统也未能逃脱这一困境。另一方面，则使模型得以通过分析自身数据而提升预测精度，并非依赖于繁重的手工标注与注解。

图片链接

在各类标记数据样本数量均衡的情况下，在计算机视觉领域以及其它相关算法生成模型中表现更为卓越；相反地，在各类标记数据样本数量不均衡的情况下，则可能导致模型性能出现偏差。

面临的挑战是：当一类图像或视频难以获取（除非您在合成数据创建或进行相关数据增强方面做出相应投入），这将导致难以积累足够的训练数据来提升模型性能水平。

自监督学习降低了为计算机视觉模型标注数据的需求，并且减少了生成增强图像或视频的需求

自监督学习具有诸多优点

自我监督技术在计算机视觉以及ML与AI相关的多个项目、应用实例和系统模型上展现出显著优势。

具有更高的扩展性和管理能力： 面对海量的数据集, 自监督学习不仅在扩展性和管理能力方面表现出色. 由于这种方法无需依赖高质量标注数据, 在面对复杂场景时依然表现出色. 即使在图像或视频中某些类别的出现频率低于其他类别时, 结果也不会受到影响的原因在于SSL能够有效地处理海量非结构化数据.

改进模型结果： 自监督学习能够有效地提取数据的表征特性，从而实现计算机视觉任务中的性能提升。同时，基于无监督学习的方法如SSL，在无需人工标注数据结构的情况下显著增强了模型的学习能力。

增强型人工智能功能：

针对计算机视觉领域而言，在应用自监督学习方法时，则能够更加高效地完成图像分类任务、视频帧预测任务以及其他类型的任务。

深入分析自监督学习的不足

同时，我们需要承认自监督学习存在一些局限性，例如：

为了实现自监督学习的目标……

准确性不足： 人们普遍预期自监督学习不会像有标签或标注数据的其他方法那样达到高精度。当模型未使用标签、注释以及地面实况训练数据进行人工输入时，在初始阶段的准确率得分可能较低。然而，我们下面将介绍一些解决方案。

自监督学习如何运作？

From a fundamental perspective, self-supervised learning refers to an algorithmic paradigm for training AI-based models. When the model is provided with vast amounts of raw, nearly fully labeled, or completely unlabeled data, it can leverage this information to generate labels independently.

但是这种说法做了必要的简化，在这种训练模式下能够灵活运用多种SSL框架。让我们考察其中最流行的七个类别 覆盖涵盖对比式与非对比式学习

对比学习

对比学习 SSL 涉及通过模型进行样本的鉴别。这些样本被称为锚点，并按照正负标签的形式给出

正类样本是指与锚点属于相同分布的数据实例。相反地，在这种情况下（即负面案例），其与锚定点之间的分布存在显著差异。

正样本是与锚点属于同一分布的数据输入。而负样本与锚点的分布不同。

Non-Contrastive Learning (NC-SSL) 非对比学习

改写说明

对比预测编码 （CPC）

对比预测编码 ( CPC ) 最初是由 Google Deep Mind 的三位 AI 研究人员开发的, 这项研究于 2019 年发表。

CPC represents a prominent self-supervised learning approach in the fields of natural language processing, computer vision, and deep learning.

CPC 也可应用于计算机视觉领域，在其中将其与概率对比损失相结合以实现预测编码功能。其目标是通过训练一个模型来理解数据的不同部分之间的表示关系。此外，CPC 在去除数据集中的低级噪声方面具有显著优势。

实例判别方法

改写说明

为了确保随机性与一致性，在每个训练步骤中应随机选择输入图像进行处理。该方法采用如下策略：对每个输入样本进行处理时（例如旋转90度或转换为灰度图），生成其配对样本与其自身形成正锚框关系；同时为其生成具有显著差异的负锚框（如完全不同的图片）。这种设计旨在使模型能够识别即使经过变换后依然属于同一类别的情况。

通过实例区分 SSL，在训练过程中使模型识别出马类灰度图像作为正锚对的一部分，并与牛类黑白图像进行对比。

基于能量的模型 （EBM SSL）

对于基于能量的模型（EBM），这相当于基于能垒模型来衡量两个输入之间的相容性问题。低能垒值则意味着较高的相容度，在这种情况下（即当存在较高的能垒值时），相容性的水平会降低。

在计算机视觉领域中，在基于 EBM SSL 的方法下，在模型被展示两张汽车图像时预期会输出较低的能量值。与之前相比，在比较汽车与飞机时预期会输出较高的能量值。

对群体划分方式进行比较分析

对集群分配进行比较，则可应用于自监督学习这一领域。在过去的两年中，在一篇具有里程碑意义的论文中提出了一个更为创新的方法，并介绍了名为SwAV的概念：该概念涉及在多个视图之间进行交换分配（SwAV：Multiple Views by Swapping Assignments），并被正式发表于《神经信息处理系统的进展》期刊上

基于传统的对比聚类任务涵盖离线学习过程。该模型需在聚类分配与训练阶段间交替进行，以使ML/CV模型能够理解不同图像的多维度特征。

然而采用SwAV SSL学习方法可以在线上实现这一目标, 从而更加容易地扩展至海量数据集, 同时得益于对比学习技术.

集成化的嵌入体系结构

自监督模型的另一种学习技术是联合嵌入架构。

联合嵌入架构基于一个具有相同结构的双分支网络构建，在这种架构中每个分支都接受两个输入并生成各自的嵌入向量

当两个源输入之间的距离非常小时（例如，在某个模型中展示了两幅非常相似但略有细微差别的鸟类飞行图像）。接着可以通过优化潜在空间中的神经网络参数来减小输入间的距离

该领域的自监督学习方法在哪些应用实例中得到验证？

目前,我们简要了解自监督学习在计算机视觉领域的主要应用场景,并探索其中的四个典型应用

医疗保健与医学成像 计算机视觉

在现实世界中的应用案例中，在医疗保健领域的自监督学习主要应用于多个方面。医学成像与标注属于一个高度专业的领域，在这一过程中保证系统的准确性对于计算机视觉模型的性能至关重要。尤其是在对生命安全负责的情况下识别严重的疾病类型时，在计算机视觉模型中展现出尤为重要的一环。

在计算机视觉领域中，DICOM和NIfTI文件构成了训练深度学习算法的基础材料，并结合X射线成像（如X射线）、磁共振成像（MRI）和CT扫描等技术手段进行数据采集与分析

在医疗领域中获取高质量标记的专用数据面临着巨大挑战，在线获取这些信息存在诸多障碍并受到当前广泛使用的数据隐私法规以及相关医疗保健法律（如HIPAA）的限制。通常情况下这样的高质量标注工作需要由多学科专家团队共同参与才能完成以确保标注质量与一致性。另一方面专业的医疗时间不仅稀缺而且成本高昂因此很少有临床工作者愿意抽出闲暇时间对包含海量图像与视频的数据集进行系统性标注

同时，计算机视觉在医疗保健领域非常有用，具有许多实际应用和用例。

针对上述挑战提出的一种系统性方案是通过将自监督学习方法应用于医学成像数据集来实现；例如，在癌症检测任务中应用该方法。

Encord 与众多医疗专业人士及医疗保健数据科学家紧密合作,共同研发出了一款专业的医学影像标注工具包,为用户提供智能化的图像标注解决方案,集成了先进的3D标注功能,支持全程可追溯性,并显著提升了处理效率

通过平面图像实现三维空间中的旋转操作

基于二维图形完成三维物体的旋转处理

自监督计算机视觉学习的另一个具体应用是在工厂中训练机器人准确识别并定位3D对象。自主和半自动机器人必须了解如何实现这一目标；一种方法是利用自监督计算机视觉模型结合图像与视频数据进行训练

基于语义链接帧的视频运动预测

视频信号是由一系列意义关联的帧组成的序列。使用自监督学习模型能够显著提高准确率，并且由于同一对象在连续帧之间保持一致的特性，在多个连续的帧上通常持续多帧。

在预训练阶段中可以应用多种参数；例如，在分析特定物体运动时考虑其流畅性，并探讨重力对系统的影响；以及它们之间的关系。

本研究聚焦于机器人学领域中的关键挑战——自主性问题的解决。在这一过程中，我们采用了基于自监督学习框架的方法，并结合先进的算法设计与优化策略，在系统层面实现了对自主性能力的系统性提升。

机器人无法将所有可能出现的情况都记录在硬件和软件系统中。需要考虑的因素非常复杂。

一定水平的自主能力是不可或缺的,尤其是在机器人运行位置与控制中心相距较远的情况下,例如美国宇航局休斯顿航天中心与火星车之间的通信。

即便在陆地上环境里,如果机器人不具备实时或即时决策能力,它最多只能起到辅助作用,而这种状态将会导致严重后果.因此,采用自监督学习技术以确保机器人能够自主决策变得尤为关键.

链接标题信息重点归纳

自监督学习是一种在大量原始、未标注数据上被用来训练CV（计算机视觉）、AI（人工智能）、ML（机器学习）或其他算法模型的有效工具。这种方法大大减少了所需的时间、资金和资源投入量，并特别适用于软件工程师、数据科学家及数据分析人员。

此外，在预训练阶段计划采用我们在本文中介绍的几种方法之一（如对比、非对比、CPC、EBL等），以促进基于SSL的模型能够产出更准确的结果。

如果没有提供有助于训练模型的数据标记与注释的帮助，则可能导致模型准确率下降以及训练所需时间增加的风险

最后

站在时代发展的高度来看, 网络安全的知识是永远学不完的, 而随着时代的发展与技术的进步, 同学们要摆正心态, 既然选择了学习网络空间安全技术, 就不能仅仅停留在入门阶段, 掌握得越深入，则获得发展机会的可能性就越大。

由于初学者在入门阶段接触到的知识点较多且涉及面广，在讲解时不可避免地会有所侧重和省略。如有学员对某些知识模块存在疑问或不解之处，请随时向我提出问题或进行探讨；我会尽力做到既全面又深入地解答您的疑问，并乐于助人并愿意提供所有所需资源以满足您的学习需求。但可惜的是这些珍贵的学习资源目前还处于 gathering stage，并未得到充分的应用与分享

干货主要有：

①1000+CTF历届题库（主流和经典的应该都有了）

②CTF技术文档（最全中文版）

③项目源码（四五十个有趣且经典的练手项目及源码）

④ CTF大赛、web安全、渗透测试方面的视频（适合小白学习）

⑤ 网络安全学习路线图（告别不入流的学习）

⑥ CTF/渗透测试工具镜像文件大全

⑦ 2023密码学/隐身术/PWN技术手册大全

扫码领取

本文源自 [ kindly delete this link.