InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning

阅读量：

该研究论文

引言：

基于来自多个领域的新增视觉信息推动下，在本质层面这一类任务从本质上变得更加多样化。与此同时，在技术层面开发能够适用于多种多样化的视觉-语言系统的技术难度显著提升

本文提出了一个名为InstructBLIP的视觉指令调整方案，在这一创新方法中采用了一种多模态自监督学习策略，在保持模型简洁性的同时实现了高效的跨模态交互能力，并在多项基准测试中取得了显著性能提升的效果

文章贡献：

展开了系统而全面的研究，在视觉符号指令优化领域对26个公开数据集进行了分类整理，并将其转化为标准化的指令优化格式，并划分为 eleven 个具体任务类别

提出了一种指令感知的视觉特征提取机制，可以根据给定的指令灵活且有效地提取视觉信息特征

模型结构：

数据构造：

黄色表示训练数据，白色表示测试数据

data balance，根据数据集量级进行采样

构建了10-15个不同的template，每个任务进行采样抽取

针对简短输出结果的数据集prompt中添加short关键词以避免模型过度拟合

从视频序列中进行等距取样以获取四帧图像，并提取其特征信息。随后将这些特征整合为一个查询嵌入并传递至LLM模型进行处理。

数据集prompt构造：

BLIP-2模型框架：

InstructBLIP模型整体框架：

可参数化的Q-former模块通过freeze image encoder与freeze LLM进行连接，并采用分轮次策略进行训练：第一轮为representation learning轮次训练；第二轮为generative pre-training轮次训练

原始Q-Formers模型：Image Encoder提取图像特征，并将Query Embedding融合到其中以提炼图像信息。随后通过soft prompt与query text传递给LLM模型以完成预测任务。

提升Q-Forme模型性能：通过自注意力机制对instruction text和Query Embedding进行融合，并继而提取图像特征；从而获取该特定任务相关的图像信息；将其作为soft prompt与instruction text结合后输入到LLM中用于预测

模型实验

消融实验，Instruction和data balance的重要性

消融实验，验证多任务学习 or instruction学习哪个更重要

全部评论 (0)

还没有任何评论哟~

InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning

论文：<https://arxiv.org/pdf/2305.06500v1.pdf 代码：<https://github.com/salesforce/LAVIS/tree/main/project...

论文笔记--InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning

论文笔记InstructBLIP:TowardsGeneralpurposeVisionLanguageModelswithInstructionTuning 1\.文章简介 2\.文章概括 3文章重...

Dual Instruction Tuning with Large Language Models for Mathematical Reasoning

本文是LLM系列文章，针对《DualInstructionTuningwithLargeLanguageModelsforMathematicalReasoning》的翻译。

VoCo-LLaMA: Towards Vision Compression with Large Language Models

视觉语言模型在各种多模态任务上取得了显著的成功，但经常受到有限上下文窗口和处理高分辨率图像输入和视频的高计算成本的瓶颈。视觉压缩可以通过减少视觉令牌数量避免该问题。先前方法使用额外模块压缩视觉令牌并强...

Poisoning Language Models During Instruction Tuning

目录概要核心方法——制作中毒数据极性毒化任意任务的毒化防御措施及实际建议概要本文主要毒害指令微调模型，证明了攻击者仅需要少量的攻击样本（100个），即可导致任意短语在许多保留任务中保持一...

Instruction Tuning for Large Language Models: A Survey

本文是LLM系列文章，针对《InstructionTuningforLargeLanguageModels:ASurvey》的翻译。大语言模型指令调整：综述摘要 1引言 2方法 3数据集 4指令微...

Instruction Tuning for Large Language Models: A Survey

目录 Abstract 1\.Introduction 好处：挑战： 2\.Method 3\.Dataset 4\.指令微调的LLM 5\.多模态指令微调 6\.特定领域的指令微调 7\.高效的调...

CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models

本文是LLM系列文章，针对《CoMMIT:CoordinatedInstructionTuningforMultimodalLargeLanguageModels》的翻译。

Astraios: Parameter-Efficient Instruction Tuning Code Large Language Models

Q:这篇论文试图解决什么问题？ A:这篇论文试图解决的问题是：在大型语言模型（LLMs）的参数高效微调（PEFT）中，哪种方法在不同模型规模下提供了最佳的成本性能权衡。

DAPT: Distribution-Aware Prompt Tuning for Vision-Language Models

文章汇总动机该论文的动机很像下面这篇文章： UnderstandingContrastiveRepresentationLearningthroughAlignmentandUniformityo...

是否确定退出登录?

InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning

引言：

模型结构：

模型实验

全部评论 (0)

相关文章推荐

InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning

论文笔记--InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning

Dual Instruction Tuning with Large Language Models for Mathematical Reasoning

VoCo-LLaMA: Towards Vision Compression with Large Language Models

Poisoning Language Models During Instruction Tuning

Instruction Tuning for Large Language Models: A Survey

Instruction Tuning for Large Language Models: A Survey

CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models

Astraios: Parameter-Efficient Instruction Tuning Code Large Language Models

DAPT: Distribution-Aware Prompt Tuning for Vision-Language Models