Video Understanding with Large Language Models: A Survey
本文属于LLM系列文章，基于《Video Understanding with Large Language Models: A Survey》的翻译。
大型语言模型下的视频理解研究综述
-
摘要
-
1 引言
-
2 基础
-
2.1 视觉LLM集成
-
2.2 语言在视频理解过程中的作用
-
2.3 其他模态
-
2.4 训练策略
-
3 VID-LLMs：模型
-
3.1 基于LLM的视频代理方案
-
3.2 Vid-LLM预训练任务
-
3.3 Vid-LLM指令调整策略
-
- 3.3.1 连接适配器的微调处理
- 3.3.2 插入式适配器的微调处理
- 3.3.3 混合适配器的微调处理
-
3.4 混合方法
-
-
4 任务、数据集、基线
-
-
4.1 识别和预测
-
- 4.1.1 数据集概述
- 4.1.2 评估标准
-
4.2 标注和描述
-
- 4.2.1 数据集概述
- 4.2.2 评估标准
-
4.3 基线和检索
-
- 4.3.1 数据集概述
- 4.3.2 评估标准
-
4.4 问答
-
- 4.1.1 数据集概述
- 4.1.2 评估标准
-
4.5 视频指令调整
-
- 4.5.1 数据集概述
- 4.5.2 评估标准
-
-
5 应用
-
- 5.1 媒体和娱乐
- 5.2 交互式和以用户为中心的技术
- 5.3 医疗保健和安全应用
-
6 未来方向与应用
-
- 6.1 局限和未来工作
- 6.2 结论
-
摘要
随着在线视频平台的快速发展，视频内容量的急剧增加，对高效处理视频内容的工具需求显著提升。鉴于大型语言模型（LLM）在语言和多模式任务中展现出卓越的能力，本研究详细探讨了利用Vid-LLM进行视频理解的最新进展。Vid LLM展现出非凡的能力，尤其是它们与常识知识相结合的开放式时空推理能力，为视频理解提供了极具前景的发展方向。我们系统分析了视频LLM的独特特性和功能，并将其划分为四种主要类型：基于LLM的视频代理、视频LLM预训练、视频LLMs指令调整和混合方法。此外，本研究全面考察了Vid LLM的任务、数据集和评估方法，并深入探讨了其在各领域中的广泛应用。这一探索突显了Vid LLM在现实世界视频理解挑战中的巨大扩展潜力和多功能性。最后，我们总结了当前Vid LLM的局限性，并指明了未来研究的方向。关于详细信息，建议访问存储库，网址为https://github.com/yunlong10/Awesome-LLMs-for-Video-Understanding。
1 引言
2 基础
2.1 与LLM的视觉集成
2.2 语言在视频理解中的角色
2.3 其他模态
2.4 训练策略
3 VID-LLMs：模型
3.1 基于LLM的视频代理
3.2 Vid-LLM预训练
3.3 Vid-LLM指令调整
3.3.1 连接适配器微调
3.3.2 插入式适配器微调
3.3.3 混合适配器微调
3.4 混合方法
4 任务、数据集、基线
4.1 识别和预测
4.1.1 数据集概述
4.1.2 评估标准
4.2 标注和描述
4.2.1 数据集概述
4.2.2 评估标准
4.3 基线和检索
4.3.1 数据集概述
4.3.2 评估标准
4.4 问答
4.1.1 数据集概述
4.1.2 评估标准
4.5 视频指令调整
4.5.1 数据集概述
4.5.2 评估标准
5 应用
5.1 媒体和娱乐
5.2 交互式和以用户为中心的技术
5.3 医疗保健和安全应用
6 未来方向与应用
6.1 局限和未来工作
6.2 结论
本研究从模型架构、数据特征和任务目标三个维度，系统性地梳理了视频理解领域的现状、局限及发展趋势。研究特别深入分析了大型语言模型（LLM）在视频理解领域的应用带来的技术变革。通过LLM的协同作用，视频理解模型不仅提升了与人类交互的效率，还显著加速了相关技术的落地与应用。此外，基于广泛视频语料的预训练策略，有效增强了模型的扩展性和多功能性。然而，当前的视频语言模型（Vid LLM）仍面临诸多技术挑战。主要问题体现在：一是对细节、长时视频的精微理解有待提升，以更好地应对复杂现实场景；二是现有LLM与视频模型之间的协同机制尚需优化，以更精准地响应用户指令；三是对视频语义的潜在幻觉问题仍需深入探索和解决。这些问题将是未来研究的重点方向。本研究的系统性梳理将为Vid LLM的未来发展提供重要参考依据。