DYNAMIC LLM-AGENT NETWORK：带有智能体团队优化的LLM智能体协作框架
D YNAMIC LLM-A GENT N ETWORK : AN LLM-AGENT COLLABORATION FRAMEWORK
WITH A GENT T EAM O PTIMIZATION
论文地址： [https://arxiv.org/abs/2310.02170
https://arxiv.org/abs/2310.02170](https://arxiv.org/abs/2310.02170 "https://arxiv.org/abs/2310.02170")
1.概述
该论文构建了Dynamic LLM-Agent Network（DyLAN）框架，旨在促进大语言模型（LLM）代理在动态互动架构中的多轮对话支持。该方法主要致力于解决现有静态架构在LLM代理集成过程中存在的局限性，传统架构不仅限制了模型的泛化能力，还受制于人工设定的代理角色。
1.1 现有挑战：
当前的LLM智能体协作模式主要依赖于静态架构，其中智能体角色及交互顺序被固定设置，这在处理多样化任务时限制了系统的灵活性和效率。这种静态配置要求设计者对任务有深入的理解能力，以便在每个任务中分配特定的代理角色。这不仅增加了设计的复杂性，还可能降低系统的通用适用性。此外，固定化的智能体交互顺序可能使系统对任务领域和复杂性的感知更加敏感，从而影响其效率和准确性。
1.2 论文解决方案
为了针对上述挑战，论文构建了DyLAN框架。该框架基于前馈网络构建LLM智能体间的动态交互，从而实现了互动架构与任务特定设计的解耦。同时，我们开发了推断时智能体选择（inference-time agent selection）和早停机制（early-stopping mechanism），以优化交互过程的效率和效果。此外，我们开发了一种基于无监督指标“代理重要性评分”（Agent Importance Score）的自动智能体团队优化算法，使该系统能够在无需过多人为先验知识的情况下，自动初始化和优化智能体团队。
实验证明DyLAN在承担推理和代码生成等复杂任务时，凸显了显著的性能优势。相较于单一执行方式，DyLAN在MATH和HumanEval任务上的效果分别提升了13.0%和13.3%。在MMLU的特定科目上，基于智能体团队优化，准确率最高提升了25.0%。
2. 框架
DyLAN（Dynamic LLM-Agent Network）框架是为了解决动态任务环境中多个LLM智能体高效协调运作的问题，旨在提升其整体效能。该框架基于前馈网络架构设计，允许各个智能体在不同时间阶段进行交互，并通过消息传递算法实现信息交流。
2.1 网络定义
（1）节点
在DyLAN系统中，每个实体均代表一个智能体，均可在特定时间点上运行。这些实体能够接收和处理来自其他智能体的信息，并根据当前任务需求生成响应。每个实体可以是增强型工具的LLM智能体，一个独立的工具（如脚本或专用模型），或多个工具的组合。每个节点均
接收上一时间步的输出
和当前的查询 q 作为输入，并产生输出
：
其中
是智能体的提示，可能是空的，尤其是对于类型II和III的代理。
（2）边
边代表节点之间的信息传递路径，遵循方向性，即信息可以从前一个节点传递到后一个节点。基于边的连接，智能体能够接收上一层代理的输出作为其输入的上下文，形成前馈网络。其中，S=(A,E)，A为节点集，E为边集。
（3）消息传递机制
正向传递： 在正向传递机制中，信息按照时间序列依次传递给下一个代理。这种机制为LLM代理协作系统提供了在接收到特定任务查询后，通过协作机制生成最终响应的能力。系统的输出变量o被定义为一个函数，具体表示为：o = f(\cdot)。
的结果，它明确地表达了推断过程：
反向传递: 在反向传递中，通过算法
沿网络边回传代理重要性评分（Agent Importance Score)：****
该评分过程被用于识别那些处于核心地位的节点（代理），这些节点在解决特定问题时起到关键作用，从而进一步优化整个网络的配置和运行效率。
2.2 DYLAN 的构建
为提升LLM-agent在多元任务中的协作效能和性能表现，本论文提出以下策略建议：首先，在中间时间步长阶段引入推理时间智能体选择机制（Inference-time Agent Selection），以优化智能体选择机制的运行效率；其次，在适当层级结构中引入拜占庭共识理论，以有效终止推理流程。
在DyLAN系统中，整体架构基于多层时间步的堆叠配置实现，每层代表智能体间的一轮交互过程。这种层级化结构使系统在每个时间步中逐步积累和整合信息，从而逐步深化解决方案的层次和广度。
（1）层的定义
每个层级由在同一时间段内运行的全部智能体构成，这些智能体具备信息交流能力，并对前一层的输出实施深入分析和反馈机制。
在交互过程中，每个智能体在接收前一层所有智能体的输出后，会进行综合分析，形成新的输出结果。这一过程不仅涉及信息的简单传递，还包括了深入分析和批判性思考，以确保解决方案的逻辑一致性与创新性。
在信息传递和决策深化的过程中，智能体不仅接收信息，还会就其他智能体的解决方案展开讨论和辩论。这种多角度的审视有助于发现新的视角或达成更一致的解决方案。
（2）推理时间智能体选择（Inference-time Agent Selection）
在多层架构中，尤其是在计算资源受限的情况下，推理时间智能体选择具有重要意义。该机制采用专门的LLM代理（称为LLM Ranker），对各层代理输出进行评估，并基于预设的性能指标选择表现最佳的响应，从而集中计算资源，以提升整体解决方案的性能水平。
此外，响应筛选机制采用筛选出表现最突出的前m个响应，从而帮助系统集中关注最有潜力的解决方案，有效降低无意义或重复的计算量。
（3）早停机制
为提升计算效率的优化，本研究进一步引入了早停机制。该机制灵感来源于拜占庭共识理论，要求系统中至少需要3p+1个代理节点才能容忍其中p个潜在的错误节点，从而保证决策的正确性和系统的容错能力。当系统在某层级中达到足够一致的共识时，可以提前终止整个推断过程，从而有效减少不必要的计算开销，特别是在系统检测到在最大时间步之前已达到足够一致的状态时。
2.3 智能体团队优化过程（Agent Team Optimization）
（1）传播
在传播阶段，每个智能体候选都加入协作过程。每个智能体都需要评估其前驱的解决方案。通过每个智能体对其前驱的解决方案进行评分，从而实现评估。每个智能体对其前一时间步智能体的响应进行评分，从而实现评估。
- 评分机制 ：每个代理
在时间步t使用一个评分函数
来对从
对接收方的响应进行评分处理。评分结果基于当前查询q以及前一时间步的所有响应进行评估。
。
（2）聚合（Aggregation）
在该阶段中，每一个智能体会收集其后续智能体的评分，并通过汇总这些评分来评估其对任务的整体贡献。这里的"后续智能体"指的是在信息流中紧随其后的智能体。
（3）选择（Selection）
在最后的选择阶段，系统将整合同一智能体在所有时间步上的贡献值，随后选择具有最高总贡献的top-k智能体作为最优化组合的一部分。
在此步骤中，智能体的最终重要性得分
通过累加每个时间步的贡献
系统通过计算这些智能体的得分，选择表现最佳的top-k个智能体，组成最优的智能体团队。
3.实验
3.1 实验设置
DyLAN框架的有效性与效率通过在三个具有代表性的任务中进行全面测试得以验证：算术推理（AR）、一般推理（GR）以及代码生成（CG）。这些任务不仅涉及复杂的逻辑推理，还涵盖了编程挑战，为全面评估DyLAN在不同场景下的表现提供了充足的机会。
- 算术推理基于MATH数据集，涵盖7个子领域及5000道题目。
- 一般推理基于MMLU数据集，涉及57个科目的多样化问题类型。
- 代码生成采用HumanEval基准测试，包含164例人类编写并经过测试的代码和测试用例。
这些任务的选择反映了DyLAN处理不同类型推理和创造性任务的能力。
3.2 主要结果
在所有任务中，DyLAN的表现均显著超越了基准模型。特别是在算术推理任务中，DyLAN相较于单次执行策略及CoT提示策略展现出显著的提升。在一般推理和代码生成任务方面，DyLAN同样实现了显著的性能提升。
计算效率指标：DyLAN在保证或提升准确性水平的同时，通过降低的API调用次数，显著提升了计算效率指标。
智能体团队的优化工作
4.3 消融研究
消融研究展示了智能体团队优化和早停机制对DyLAN性能的具体影响。
数据利用效率
智能体团队大小的表现
这些机制通过降低冗余计算来提升效率，同时确保解决方案的质量不受影响。此外，它们减少了不必要的API调用，进一步提升了系统的整体性能。
