浙大：异构知识调优医疗视觉大模型

📖标题：HealthGPT: A Medical Large Vision-Language Model for Unifying Comprehension and Generation via Heterogeneous Knowledge Adaptation
🌐来源：arXiv, 2502.09838

🌟摘要

我们概述了HealthGPT这一医学大视觉语言模型（Med-LVLM），它通过融合医学视觉理解和生成能力，在单一自回归架构中实现了高效处理。基于指导原则, 我们开发了一种创新的方法,即异构低秩自适应（H-LoRA）技术, 该方法结合了定制化的层次化视觉感知模块与分阶段学习策略, 从而实现了对大型语言模型（LLM）知识的适配性。为了有效训练HealthGPT, 我们构建了一个专业的医学领域数据集, 称为VL Health, 该数据集涵盖了丰富的理解和生成任务场景。
实验结果显示, HealthGPT在医学视觉统一任务中展现出卓越的性能表现及良好的扩展性特点。
我们的项目可通过访问https://github.com/DCDmllm/HealthGPT获取更多信息。

🛎️文章简介

研究重点：如何实现多模态信息的理解与生成，在复杂的医疗场景中达到一致。
主要贡献：该研究提出了一种名为HealthGPT的新方法，这种架构在医疗领域首次实现了一种新型的统一多模态理解与生成架构，并通过异构低秩适应（H-LoRA）技术实现了理解与生成任务的有效平衡。

📝重点思路

🔸数据集构建：创建VL-Health数据集，涵盖七个理解任务和五个生成任务，确保数据的多样性和复杂性。
🔸模型框架：引入HealthGPT作为统一模型，结合混合专家（MoE）和低秩适应（LoRA）方法，采用可逆矩阵块乘法来降低计算开销。
🔸分层视觉感知：通过视觉变换器（ViT）对图像进行分层特征提取，根据任务需求选择具体和抽象的视觉特征。
🔸异质知识适应：设计了异构低秩适应（H-LoRA）技术，理解和生成任务通过动态路由从视觉特征模块中提取与任务相关的知识。
🔸三阶段学习策略：多模态对齐、H-LoRA调优和视觉指令微调，避免任务间的性能下降，增强模型的适应性。

🔎分析总结

HealthGPT展现出色性能，在医疗多模态领域能够在数据资源有限时达成与现有最先进模型相当或更好的效果。
H-LoRA通过成功地规避了理解和生成两类任务间冲突所带来的性能损失，在多数情况下展现出显著的优势。
实验结果显示分层视觉感知系统能够根据不同任务类型自主选择最优视觉特征，并有效提升模型的整体学习效率。
在不同应用场景下，在处理理解类的任务时主要依赖于抽象特征，在执行生成类的任务时则主要依赖于具体细节。

💡个人观点

论文的核心研究是H-LoRA方法，在采用插件化设计的基础上分别存储与生成相关的知识内容，并实现了多模态任务中不同知识形式之间的协调。

🧩附录