大语言模型在专业领域的应用——医疗场景下的大语言模型

大语言模型在专业领域的应用——医疗场景下的大语言模型

• 构建面向医疗的大语言模型
• 数据资源
• 总结

医疗是与人类生活密切相关的重要领域之一。由于具有较强的通用任务解决能力，大语言模型被广泛用于辅助医生处理各种相关医疗任务，例如医疗诊断、临床报告生成、医学语言翻译、心理健康分析等。为了充分发挥大语言模型在医疗领域的作用，研发医疗相关的大语言模型非常重要。

构建面向医疗的大语言模型

已有的医疗大语言模型主要以通用大语言模型为基础，通过继续预训练技术或者指令微调方法，让其充分适配医疗领域，从而更好地完成下游的医疗任务。在继续预训练阶段，医疗大语言模型可以利用医学领域丰富的数据资源（如医学教材、诊断报告等），学习医学领域的专业知识与相关技术，进而准确理解医学文本数据的语义信息。为了解决复杂且多样的医疗任务，还需要进一步构建特定的指令集合对模型进行指令微调。在真实场景中，医疗相关指令数据相对较少，可以通过收集医患对话数据或医学问答数据集，在此基础上设计指令模板，来构造面向不同医疗任务的指令数据。Med-PaLM 模型是谷歌推出的医疗大语言模型，其通过医疗相关的指令数据对 FLAN-PaLM 进行微调，在回答医疗问题时获得了专业医生的认可。为了增强模型回答的准确性和可信程度，还可以将医疗大语言模型和医学数据库进行结合，利用检索增强等方法来提升模型在处理复杂医疗任务时的能力。

此外，现有的医疗大语言模型通常基于英文语料进行训练，可能无法充分覆盖中医相关的知识体系。为了研发中医相关的医疗大语言模型，可以利用现有中医语料库构造预训练数据和微调指令，进而提升对于传统中医理论的理解与应用能力。进一步，在医疗领域中，影像信息具有重要的数据价值（X 光片、MRI 光片等），能够提供关于患者病情的直观信息。因此，构建能够理解医疗文本和视觉信息的多模态大语言模型，有着较大的应用前景。为了实现这一目标，可能需要针对性地设计医疗图文指令。例如，可以对病灶区域进行专业标注，并设计对应的病情诊断指令。

数据资源

医疗领域有许多开源的数据资源可用于模型的训练与评估。其中，预训练医疗大模型的数据来源主要包括电子病历、科学文献和医学问答等。电子病历数据通常由病人的健康诊断数据构成，该类数据能够帮助大语言模型理解医疗领域术语，并学习医疗诊断和分析方法。MIMIC-III是目前被广泛使用的电子病历数据集，共包括 40K 余名病人的健康数据，覆盖医生诊断、生命体征测量、医学影像、生理数据、治疗方案、药物记录等信息。作为另一种重要预训练数据源，科学文献中包含了许多与医疗领域研究相关的学术研究文档，并且普遍具有较为规范的格式。此外，医疗领域还存在大量的医学问答与医患对话数据，这些数据常用来构建指令数据集，用于医疗大模型的指令微调。为了对医学大语言模型进行评测，通常使用医学问答数据以自动化地评估医学文本理解以及医学知识利用的能力。其中，MultiMedQA是一个被广泛使用的医学问答评测基准，共由 7 个医学问答数据集组成，包含了来自多个医学领域的问答对，涵盖了临床医学、生物医学等健康相关的多种主题。此外，针对多模态医疗大模型，常使用包含医学影像和与之相关的问答对数据对其进行评测，其侧重于评测模型对医学图像的理解能力以及对图文模态信息的综合利用能力。除了利用开源的数据资源进行自动评估，也可以通过邀请专业医生参与医疗大语言模型的评估，确保模型在实际临床应用中的安全性和有效性。该类方法通过让医学专家或临床医生审查模型生成的文本，从医学领域的准确性、临床适用性和专业性等角度，评估该模型生成内容的准确性和可靠性。

总结

在医疗领域，大语言模型展现出了较好的应用前景。通过利用医学数据进行预训练或微调，大语言模型可以初步理解医学知识，能够在医疗研究、临床诊断、药物开发等各个方面为人类提供服务，这对于改善医疗服务质量、提升医疗健康水平具有重要的实践意义。然而，已有的医疗大模型仍然很难充分掌握医学领域专业知识，无法精确感知医疗健康数据的数值含义，在实际应用中也缺乏自主的安全监管手段。这些问题都有待深入探索。此外，将医疗大语言模型与其他医疗技术（如生物传感技术等）相结合，有望形成一个更完整、更智能的医疗辅助系统。