扒皮深度学习里边那些高大上的名词：有监督、半监督、无监督、弱监督、自监督

Seven博士在深度学习领域进行了长时间的自主学习，相当于从入门到现在的水平。自我感觉，在阅读论文时一定要避免被那些专业且高深的学术词汇吓倒，其实只需要结合源代码进行深入理解，就能发现其实这些操作都比较简单。例如，几年前刚开始学习时，对"gate"这个概念理解花了相当长的时间，其实它只是一个控制权重大小的单元。所有的东西都是这样，通过不断接触和深入阅读，自然就会逐渐通透。

当前，我所涵盖的广泛领域是无监督学习的大模型领域。因此，我需要对各种监督任务和学习方法进行系统性归纳与总结：

改写说明

监督学习任务我们均能理解，其本质即为基于标注数据的模型训练，无需过多赘述。

大模型的出现推动了海量数据的生成，其中，OpenAI的CLIP系统中包含4亿对图像与文本的数据对。面对如此庞大的数据规模，如何进行有效的数据标注确实面临诸多挑战。近年来，无监督学习的研究逐渐成为主流趋势。

有监督学习（supervised learning）：用有标签的数据进行训练模型；

无监督学习(unsupervised learning)：用无标签的数据进行训练模型；

半监督学习（semi-supervised learning paradigm）：通过有标签和无标签数据进行训练。传统上，这通常分为两个阶段：首先，利用（较小规模的）有标签数据训练一个Teacher模型；然后，使用该Teacher模型对（较大规模的）无标签数据生成伪标签，作为Student模型的训练数据。近年来，发展出许多直接end-to-end地进行训练的方法，显著降低了半监督学习的工作量。

自监督学习（self-supervised learning）：自监督学习主要通过辅助任务（pretext）从大规模的无监督数据中生成自身监督信号，利用这些信号对网络进行训练，从而学习生成对下游任务具有价值的特征表示。在无标注数据环境中进行训练，通过一些方法使模型能够学习数据的内在表示，并在此基础上接续开展下游任务，例如附加一个全连接层用于分类任务。然而，在接续开展下游任务时，仍然需要在特定有标签数据集上进行微调优化，但有时可以选择将前面的网络层保持不变，仅对后续附加的网络层进行参数优化。

自监督学习作为一种无监督学习的特例，可以理解为一种无需人工标注数据的监督学习，即无需人类干预的监督学习。

尽管标签仍然存在，其中标签是通过从输入数据中生成的，通常采用启发式算法进行生成。

弱监督学习（weakly supervised learning）：基于带噪声的标注数据进行训练。（在弱监督学习中，我们通常处理的是带有弱标签的数据。例如，假设我们有一张图片，并被告知图片中有一只猪，但没有提供分割框或边界框。在这种情况下，学习算法需要根据提供的带标签的图像，推断出猪的具体位置以及猪与背景的分界线，这就是弱监督学习的核心任务。标签的强弱程度取决于标签所包含的信息量。例如，分割任务需要更精确的标签，而分类任务通常使用弱标签。弱标签的典型应用包括图像分类、目标检测等场景。在这种情况下，学习算法需要根据提供的带标签的图像，推断出目标的具体位置以及目标与背景的分界线，这就是弱监督学习的核心任务。）

多示例学习（Multiple Instance Learning）：已知包含多个样本的数据包及其对应的标签，通过训练智能算法，将数据包映射到对应的标签。在某些情况下，还会为每个数据样本提供标签信息。例如，一段视频通常由1000张图组成，假设每张图有1024x1024像素，那么我们要判断视频中是否有猪出现。逐帧标注是否含有猪耗时较多，因此人们可以快速判断整个视频是否存在猪，这样就获得了多示例学习的数据集。在这些数据集中，每个数据包的标签是独立的，即如果一个数据包中存在至少一个样本含有猪，则该数据包的标签为阳性；反之，如果所有样本都不含猪，则标签为阴性。通过多示例学习，可以学习判断哪些视频含有猪，哪些视频不含猪的问题。数学公式：X = \{x_1, x_2, ..., x_n\}，其中x_i表示第i个数据样本，Y = \{y_1, y_2, ..., y_n\}表示对应的标签集合。

表征学习（representation learning）:指在构造分类器或者预测器时从数据中抽取有用信息，从而学习到数据表征。 表征学习强调数据表征为预测服务，因此一个好的表征需要为预测器提供有用的信息。 从数据的角度来说，表征需要提取数据的有效信息，能够反映数据的真实分布。 从算法的角度来说，表征需要满足算法的应用格式，方便算法的学习,提高预测的准确率 。 对于复杂异构数据,表征学习表现出了它的必要性和优势。 在面对复杂异构数据时，只能通过表征学习统一不同类型、不同模态、不同结构的数据，解决其中的分布异构性、结构异构性和模态异构性等问题，从而为预测算法提供有效的数据表征。

对比学习（contrastive learning）是一种主要通过明确区分正样本与负样本来进行特征学习的方法。在对比学习中，正样本指的是同一类别的数据，例如一张图片和其对应的描述文本都描述的是一只狗，这样的数据对即为正样本对。而负样本则是指类别不同的数据，例如一张图片描述为狗，而另一张图片描述为大飞机，则被视为负样本对。在训练过程中，我们希望正样本对之间的相似度尽可能高，而负样本对之间的相似度则尽可能低，这样可以在学习过程中更有效地区分不同类别。