Advertisement

StableToolBench: Towards Stable Large-Scale Benchmarking on Tool Learning of Large Language Models

阅读量：

本文是LLM系列文章，针对《StableToolBench: Towards Stable Large-Scale Benchmarking on
Tool Learning of Large Language Models》的翻译。

StableToolBench:面向大型语言模型工具学习的稳定大规模基准

  • 摘要
  • 1 引言
  • 2 Toolbench上的稳定性分析
  • 3 StableToolBench
  • 4 实验
  • 5 相关工作
  • 6 结论
  • 局限性

摘要

近年来，大型语言模型（LLM）取得了显著的进步，促使人们探索工具学习，将LLM与外部工具相结合，以应对现实世界中的各种挑战。评估LLM利用工具的能力需要大规模和稳定的基准。然而，以前的工作要么依赖于规模有限的手工在线工具，要么依赖于API地位不稳定的大规模真实在线API。为了解决这个问题，我们引入了StableToolBench，这是一个从ToolBench演变而来的基准，提出了一个虚拟的API服务器和稳定的评估系统。虚拟API服务器包含一个缓存系统和API模拟器，它们是互补的，以缓解API状态的变化。同时，稳定评估系统使用GPT-4作为自动评估器，设计可解决的通过率和胜率，以消除评估过程中的随机性。实验结果证明了StableToolBench的稳定性，并进一步讨论了API模拟器、缓存系统和评估系统的有效性。

1 引言

2 Toolbench上的稳定性分析

3 StableToolBench

4 实验

5 相关工作

6 结论

在本文中，我们提出了StableToolBench，这是一个为增强ToolBench的稳定性而开发的基准。我们的分析确定了ToolBench和API状态评估过程中的不稳定性问题，导致模型性能评估的可变性。为了解决这个问题，我们实现了一个缓存系统，以实现一致的数据可用性。我们还将真实的API服务器替换为LLM模拟虚拟服务器，以实现可靠的API行为模拟。实验表明，StableToolBench显著提高了模型性能评估的稳定性，模拟的API提供了真实感，缓存系统大大提高了基准测试的稳定性。

局限性

全部评论 (0)

还没有任何评论哟~

相关文章推荐

StableToolBench: Towards Stable Large-Scale Benchmarking on Tool Learning of Large Language Models

本文是LLM系列文章，针对《StableToolBench:TowardsStableLargeScaleBenchmarkingon ToolLearningofLargeLanguageModel...

Towards Lifelong Learning of Large Language Models: A Survey

本文是LLM系列文章，针对《TowardsLifelongLearningofLargeLanguageModels:ASurvey》的翻译。 大型语言模型终身学习研究综述 摘要 1引言 2终身学习概...

TOMBENCH: Benchmarking Theory of Mind in Large Language Models

本文是LLM系列文章，针对《TOMBENCH:BenchmarkingTheoryofMindinLargeLanguageModels》的翻译。 TOMBENCH：大型语言模型中的心智基准理论 摘要...

KOLA: CAREFULLY BENCHMARKING WORLD KNOWLEDGE OF LARGE LANGUAGE MODELS

文章目录 题目 摘要 简介 KOLA基准 实验评估 结论和未来工作 道德声明 题目 KOLA：仔细对大型语言模型的世界知识进行基准测试 论文地址:https://arxiv.org/abs/2306....

A Comparative Analysis on Ethical Benchmarking in Large Language Models

本文是LLM系列文章，针对《AComparativeAnalysisonEthicalBenchmarkinginLargeLanguageModels》的翻译。

Benchmarking Large Language Models on Controllable Generation under Diversified Instructions

Q:这篇论文试图解决什么问题？ A:这篇论文试图解决的问题是评估大型语言模型（LLMs）在遵循多样化指令下的可控文本生成能力。具体来说，论文提出了一个新的基准测试CoDIEval，用于系统地和全面地评...

【Towards Human-Free Active Learning in the Era of Large Language Models--FreeAL】

文章目录 前言 一、核心内容 二、代码解析 1.main次要解析 2\.mytrainer主要解析 1\.导入必要的库和模块 2\.定义线性上升函数 3\.自定义训练器类 4\.训练循环 5\.损失计...

Benchmarking Large Language Models on Answering and Explaining Challenging Medical Questions

本文是LLM系列文章，针对《BenchmarkingLargeLanguageModelsonAnsweringandExplainingChallengingMedicalQuestions》的翻译...

翻译：arXiv-2023 PromptRobust: Towards Evaluating the Robustness of Large Language Models on

PromptRobust:TowardsEvaluatingtheRobustnessofLargeLanguageModelsonAdversarialPrompts <https://arxiv....

MedExpQA: Multilingual Benchmarking of Large Language Models for Medical Question Answering

本文是LLM系列文章，针对《MedExpQA:MultilingualBenchmarkingofLargeLanguageModelsforMedicalQuestionAnswering》的翻译。