WavLLM: Towards Robust and Adaptive Speech Large Language Model
这篇综述属于LLM相关综述文章，在深入探讨其核心框架的基础上进行了深入分析，并基于《WavLLM: Towards Robust and Adaptive Speech Large Language Model》的书稿内容进行翻译
WavLLM：迈向稳健和自适应的语音大语言模型
- 摘要
- 1 引言
- 2 相关工作
- 3 方法
- 4 实验
- 5 结论和未来工作
摘要
大型语言模型（LLM）的最新进展彻底改变了自然语言处理（NLP）领域，逐渐将其范围扩大到多模态感知和生成。然而，将听力能力有效地整合到LLM中带来了重大挑战，特别是在跨不同背景进行概括和执行复杂的听觉任务方面。在这项工作中，我们介绍了WavLLM，这是一种具有双编码器的鲁棒自适应语音大语言模型，以及一个提示感知的LoRA权重适配器，通过两阶段课程学习方法进行了优化。利用双编码器，我们解耦了不同类型的语音信息，利用Whisper编码器处理语音的语义内容，并利用WavLM编码器捕获说话者身份的独特特征。在课程学习框架内，WavLLM首先通过优化混合的基本单任务来构建其基础能力，包括自动语音识别（ASR）、语音翻译（ST）、说话者验证（SV）、情感识别（ER）、指令调整（IT）和语音问答（SQA），然后对更复杂的任务（如基本任务的组合）进行高级多任务训练。为了提高灵活性和对不同任务和指令的遵守，在第二个高级多任务训练阶段引入了具有提示意识的LoRA体重适配器。我们在包括ASR、ST、SV、ER等任务的通用语音基准上验证了所提出的模型，并将其应用于专门的数据集，如用于SQA的高考英语听力理解集和语音思维链（CoT）评估集。实验表明，所提出的模型在相同模型大小的一系列语音任务中实现了最先进的性能，在使用CoT方法执行复杂任务时表现出了强大的泛化能力。此外，我们的模型在没有专门训练的情况下成功完成了高考英语听力理解任务。代码、模型、音频样本和高考评估集可以在aka.ms/wavlm上访问。
1 引言
2 相关工作
3 方法
4 实验
5 结论和未来工作
在本文中提出了一种名为WavLLM的模型,该模型具备抗干扰能力和灵活适应性特点,是一种适用于语音交互的大语言模型.该模型基于LLaMA-2-chat构建了其基础架构,并结合了Whisper与WavLM编码器技术以提取语音音频中的语义特征与声学信息.在训练阶段,本研究首先采用了课程学习方法对模型进行混合训练,随后通过设计一种提示适配器将训练范围扩展至多任务提示.大量实验表明,该模型在多个语音相关任务上均展现了超越现有方法的最佳性能,并且通过CoT处理能力得到了显著提升.这些改进不仅增强了其在单任务场景下的表现能力,还进一步提升了处理复杂多任务时的表现效率.对于后续工作,我们计划进一步优化将其复杂的一次性指令任务自主分解为基于CoT的任务的能力,并为该系统配备更强有力的语音合成能力以增强其实际应用效果