Bootstrapping Vision-Language Learning with Decoupled Language Pre-training
该研究通过六个核心标准对视觉语言（VL）研究进行了分类：学习范式（基于冻结LLM）、模型架构（带有适配器的冻结LLM）、训练目标（语言生成损失）、模态（图像-文本和视频-文本）、监督级别（结合监督与无监督学习）以及研究重点（视觉语言对齐与即时工程）。论文提出了一种名为P-Former的适配器模型架构，在大型纯文本数据集上进行无监督预训练，并结合监督方式在图像文本对上进行训练，以优化视觉特征与提示之间的对齐关系。这种方法显著提升了视觉语言任务的表现，并展示了其在视频-文本任务中的适用性。
我们可以使用以下这六个标准，旨在全面分类视觉语言 (VL) 研究：
学习范式： 该标准区分模型的训练方式。
专门针对特定任务的学习过程是一种经典的训练策略，在该过程中模型会从头开始专注于解决该特定领域的问题（如视觉问答系统）。这一方法虽然操作简便但往往难以实现良好的跨领域泛化能力。
全连接层微调前的阶段主要是在经过大量图像-文本数据训练后进行的。这种方法的优势在于能够充分提取数据中的语义特征从而为后续微调奠定基础。
通过利用已预先进行大规模训练的语言模型其参数在后续处理中保持不变核心目标在于通过精细调整视觉编码器或输入提示来优化与固定架构语言模型之间的互动效率。
模型架构：该标准侧重于 VL 模型的结构设计。
该研究提出了一种基于双模编码架构的方法，在分别构建视觉与文本编码模块的基础上实现了高效的检索性能。然而该方案在捕捉两模之间细微交互能力方面仍存在不足。
通过特意设计的联合模块整合视觉与文本特征以实现两模间的深层关联挖掘。
该方法基于预训练语言模型（PLM）通过知识蒸馏策略进行微调后可实现对外部视觉特征的有效捕获进而提高语言模型在处理复杂场景中的感知能力。
训练目标：该标准描述了用于指导学习过程的不同损失函数。
- 对比损失（ITC） 被设计为促进配对样本之间的表示趋同性，并抑制非配对样本之间的表示差异性。
- 匹配损失（ITM） 基于二元分类任务构建，在模型训练过程中用于判断输入图像与目标描述之间的对应关系。
- 遮蔽建模损失（MLM） 针对给定视觉背景识别被遮蔽词汇的位置及其语义特征。
- 生成损失（ITG） 聚焦于产出符合视觉信息语义的真实语言描述。
模态：该标准指的是模型训练的数据类型。
- 专注于各自单一领域（即图像或文本）的基础模型在单一模态（图像或文本）上进行训练。
- 基于配对的图像-文本数据进行学习的图像-文本模型能够深入理解两者之间的关联关系。
- 进一步发展出能够处理视频内容的视频-文本模型，并通过学习将视觉序列与相应的文字描述精确地对应起来。
监督级别：该标准表明训练数据中的标签程度。
- 有标签学习（Supervised Learning） 的核心在于利用标注数据，并根据明确的指令进行训练。
- 半监督学习（Weakly Supervised Learning） 的关键特征是基于少量标注/噪声数据，并通过处理模糊/不完全信息来提升性能。
- 无标签学习（Unsupervised Learning） 的主要方法包括对比分析未标注数据以识别潜在模式和关联。
**研究重点：**该标准强调研究的主要研究方向。
- 视觉语言对齐 目的是为了通过模型提升视觉与文本表征之间的关联度。
- 多模态融合 努力探索多种有效结合视觉与文本信息的方法。
- 即时工程 专注于优化提示设计，并指导冻结的LLM生成相关文本。
- 解耦训练 通过将复杂的端到端训练过程分解为更易管理的阶段来改进优化与学习。
基于以下六个标准对 scholarly work 'Bootstrapping Vision-Language Learning with Decoupled Language Pre-training' 进行归类分析
- 学习范式主要基于冻结预训练语言模型。本文重点研究如何通过优化视觉特征使其更契合freezeLLM，并在此基础上设计相应的接口机制。这种研究方法凸显出应优先寻求最佳提示配置而非直接优化LLM本身这一核心观点。
- 模型架构方面本文提出了一种名为P-Former的适配器结构。该适配器结构由视觉编码器与freezeLLM之间起到桥梁作用，在此框架下实现了视觉特征与其预测提示的有效对齐。
- 在VL预训练阶段本文采用了语言生成损失作为主要损失函数并引入了额外的提示对齐损失以强化视觉特征与预测提示间的关联度。同时在P-Formers的预训练过程中还融合了重构损失和对比损失等多维度loss函数以全面提升模型性能。
- 本文所涉及的模态主要包括图像-文本以及视频-文本两种类型尽管研究重点放在前者但文中在第4.5节中也展示了该框架在视频-文本任务中的适用性。
- 监督学习策略上本文采用了监督学习与无监督学习相结合的方式其中 freezeLLM 的预训练阶段采用了无监督方法而VL任务则是在图像文本数据对上采用监督方式展开。
- 研究重点聚焦于视觉语言对齐及其在即时工程领域的应用其核心创新点在于通过引入P-Formers来改进视觉特征与提示间的对齐效果这可视为一种特殊的即时工程实践因为它特别关注于优化LLM输入从而提高视觉语言任务的整体性能水平