SELF-DEMOS: Eliciting Out-of-Demonstration Generalizability in Large Language Models

本文作为LLM系列文章之一，对《SELF-DEMOS: Eliciting Out-of-Demonstration Generalizability
in Large Language Models》的相关研究进行译介。

SELF-DEMOS：在大型语言模型中引入非演示泛化能力

• 摘要
• 1 引言
• 2 相关工作
• 3 方法
• 4 实验
• 5 讨论
• 6 结论
• 局限性

摘要

大型语言模型展现了具有前景的情境学习能力（ICL），能在有限的指导案例中快速适应新任务。然而，在现有技术中存在显著缺陷：现有的小样本方法高度依赖高质量、特定于查询的任务演示，并且这些演示往往缺乏必要的特性。当遇到不依赖于指导案例的情况时（即所谓的'OOD'查询），基于人工编排或外部检索器的方法可能会失效。为了弥合小样本条件下有限示例与面向对象查询之间的鸿沟，在此我们提出了一种新的提示机制——SELF-demos。该方法通过生成基于查询的自定义指导案例来激活LLM原有的泛化能力。这种生成过程在现有示例与特定查询之间实现了战略性的插值融合，在某种程度上将'OOD'转换为'ID'问题。为了全面评估该方案的有效性及其泛化性能，在开发阶段我们特意构建了一个OODToolset数据集——一个专门用于测试场景的数据集合，在该集合中包含了真实世界中的300多个API实例和1000个经过精心设计的具体测试用例（每个用例包含三个典型工具组合作为输入示例以及一个对应的'OOS'查询）。通过对该数据集以及两个公开数学基准测试的结果表明：我们的SELF-DEMOS方案在面向对象设计框架下达到了目前为止最卓越的表现。此外我们还进行了系统性的分析研究工作以进一步验证其泛化性能，并提供了若干新的见解

1 引言

2 相关工作

3 方法

4 实验

5 讨论

6 结论

本文系统探讨了小规模数据环境中OO(D)查询应对的关键技术挑战。本研究团队开发出了一种创新性提示策略SELF-DEMOS，在LLM模型中实现了显著的泛化能力提升。该系统通过生成具有感知性的演示内容来提升LLM在OOD场景下的泛化能力。我们开发的方法能够在现有基准演示数据与OOD测试查询之间实现有策略的插值转换，并将其成功地转化为符合ID条件的标准查询形式。在面向对象的设计框架中进行评估时发现，在所提出的系统评估框架下，我们的SELF-DEMOS策略已经在两个通用数学基准测试中表现最优；对于未来的研究方向，则聚焦于探索该系统在不同应用场景中的扩展潜力，并计划整合无监督学习技术以进一步优化生成效果。

局限性