Advertisement

LLMARENA: Assessing Capabilities of Large Language Models in Dynamic Multi-Agent Environments

阅读量：

本文是LLM系列文章，针对《LLMARENA: Assessing Capabilities of Large Language Models in
Dynamic Multi Agent Environments》的翻译。

LLMARENA：评估动态多Agent环境中大型语言模型的能力

  • 摘要
  • 1 引言
  • 2 基准细节
  • 3 实验
  • 4 分析
  • 5 相关工作
  • 6 结论
  • 局限性

摘要

大型语言模型（LLM）的最新进展揭示了它们在实现具有人类水平智能的自主主体方面的潜力。然而，评估LLM代理的现有基准要么使用静态数据集，可能导致数据泄露，要么只关注单个代理场景，忽略了多代理交互的复杂性。缺乏评估LLM代理在多智能体、动态环境中的不同能力的基准。为此，我们介绍了LLMARENA，这是一个新颖且易于扩展的框架，用于评估LLM在多智能体动态环境中的各种能力。LLMARENA包括七个不同的游戏环境，使用TrueSkill™评分来评估LLM代理的关键能力，包括空间推理、战略规划、数字推理、风险评估、沟通、对手建模和团队协作。我们在不同大小和类型的LLM中进行了广泛的实验和人类评估，表明LLM在发展成为完全自主的智能体方面还有很长的路要走，尤其是在对手建模和团队协作方面。我们希望LLMARENA能够指导未来的研究，增强LLM中的这些能力，最终在动态多智能体环境中实现更复杂和实用的应用。代码和数据将可用。

1 引言

2 基准细节

3 实验

4 分析

5 相关工作

6 结论

在我们的研究中，我们介绍了LLMARENA，这是一个旨在评估LLM代理在动态多智能体环境中的不同能力的基准。通过对LLM代理需要具备必要能力的七种游戏环境的综合分析，我们的发现表明LLM在空间推理、对手建模和团队协作方面存在弱点。增强LLM代理在动态多代理环境中的性能仍然是一个尚未解决的挑战。我们预计，未来的研究人员将利用LLMARENA在更广泛的场景中进行评估。

局限性

全部评论 (0)

还没有任何评论哟~

相关文章推荐

LLMARENA: Assessing Capabilities of Large Language Models in Dynamic Multi-Agent Environments

本文是LLM系列文章，针对《LLMARENA:AssessingCapabilitiesofLargeLanguageModelsin DynamicMultiAgentEnvironments》的翻...

Evaluating Interventional Reasoning Capabilities of Large Language Models

本文是LLM系列文章，针对《EvaluatingInterventionalReasoningCapabilitiesofLargeLanguageModels》的翻译。

Exploring the Capabilities of Prompted Large Language Models in Educational and Assessment Applicati

文章目录 题目 摘要 相关工作 研究问题 当前研究进展 结论 题目 探索提示式大型语言模型在教育和评估应用中的能力 论文地址：https://arxiv.org/abs/2405.11579 摘要 在...

Evaluating the Generation Capabilities of Large Chinese Language Models

文章目录 题目 摘要 相关工作 CGEval 实验 题目 评估大型中文语言模型的生成能力 论文地址：https://arxiv.org/abs/2308.04823 项目地址：http://cgeva...

Fine-Grained Evaluation for Tool Learning Capabilities of Large Language Models in Real-world

本文是LLM系列文章，针对《ToolEyes:FineGrainedEvaluationforToolLearningCapabilities ofLargeLanguageModelsinReal ...

FoundaBench: Evaluating Chinese Fundamental Knowledge Capabilities of Large Language Models

本文是LLM系列文章，针对《FoundaBench:EvaluatingChineseFundamentalKnowledgeCapabilitiesofLargeLanguageModels》的翻译...

Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models

本文是LLM系列文章，针对《LanguageSpecificNeurons:TheKeytoMultilingualCapabilitiesinLargeLanguageModels》的翻译。

Speak Out of Turn: Safety Vulnerability of Large Language Models in Multi-turn Dialogue

本文是LLM系列文章，针对《SpeakOutofTurn:SafetyVulnerabilityofLargeLanguageModelsinMultiturnDialogue》的翻译。

MT-Eval: A Multi-Turn Capabilities Evaluation Benchmark for Large Language Models

本文是LLM系列文章，针对《MTEval:AMultiTurnCapabilitiesEvaluationBenchmarkforLargeLanguageModels》的翻译。

Optimizing Inference of Large Language Models via Multi-Query Instructions in Meeting Summarization

本文是LLM系列文章，针对《QueryOPT:OptimizingInferenceofLargeLanguageModelsvia MultiQueryInstructionsinMeetingSu...