Advertisement

MT-Eval: A Multi-Turn Capabilities Evaluation Benchmark for Large Language Models

阅读量：

该文章是LLM系列中的某一篇，基于《MT-Eval: A Multi-Turn Capabilities Evaluation Benchmark for Large Language Models》的翻译版本。

MT-Eval:大型语言模型的多轮能力评估基准

  • 摘要
  • 1 引言
  • 2 相关工作
  • 3 MT-Eval
  • 4 实验
  • 5 结论
  • 局限性

摘要

在不同的现实世界应用场景中，大型语言模型（LLM）愈发广泛地应用于多轮对话交流。然而，现有评估标准主要聚焦于单轮对话性能，未能充分反映多轮交互中的能力差异。为弥补这一不足，我们开发了MT Eval，这一综合评估基准旨在系统性地考察多轮对话能力。通过细致分析人类LLM的对话交互，我们将对话模式划分为回忆、扩展、精炼和后续四种类型。为确保数据安全，我们在现有数据集基础上增加了新样本，或通过使用GPT-4生成示例来构建多轮查询。为了深入理解影响多轮能力的关键因素，我们设计了1170个单轮版本多轮查询任务，并进行了系统性性能比较。在评估11个知名LLM模型时，我们发现尽管闭源模型通常在性能上优于开源模型，但在特定任务中，某些开源模型却展现了超越GPT-3.5-Turbo的能力。研究结果表明，多轮设置相较于单轮设置的显著性能下降与模型的基本能力特征无关。此外，我们发现与目标相关性距离以及对错误传播敏感度是影响多轮对话性能的关键因素。MT Eval现已正式开源，旨在为未来更强大的对话模型研究提供参考框架。

1 引言

2 相关工作

3 MT-Eval

4 实验

5 结论

MT Eval被视为评估和理解LLM多轮会话能力的关键步骤。实验结果表明，当前模型的单轮性能与多轮性能之间存在显著差距，无论模型具备何种基础能力，这一现象都将持续存在。综合分析结果表明，内容间的距离和对错误传播的敏感性是导致多轮性能下降的主要原因。我们相信，这项研究不仅揭示了LLM多轮会话能力的现有局限性，还为缩小已识别差距以及开发具备多轮交互能力的强大会话模型奠定了基础。

局限性

全部评论 (0)

还没有任何评论哟~

相关文章推荐

MT-Eval: A Multi-Turn Capabilities Evaluation Benchmark for Large Language Models

本文是LLM系列文章，针对《MTEval:AMultiTurnCapabilitiesEvaluationBenchmarkforLargeLanguageModels》的翻译。

MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large Language Models in Multi-Turn Dialogues

本文是LLM系列文章，针对《MTBench101:AFineGrainedBenchmarkforEvaluatingLarge LanguageModelsinMulti MTBench101：一个...

MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models

本文也是LLM系列相关文章，针对《MME:AComprehensiveEvaluationBenchmarkforMultimodalLargeLanguageModels》的翻译。

DiaHalu: A Dialogue-level Hallucination Evaluation Benchmark for Large Language Models

本文是LLM系列文章，针对《DiaHalu:ADialoguelevelHallucinationEvaluationBenchmarkforLargeLanguageModels》的翻译。

FineMath: A Fine-Grained Mathematical Evaluation Benchmark for Chinese Large Language Models

本文是LLM系列文章，针对《FineMath:AFineGrainedMathematicalEvaluationBenchmarkfor ChineseLargeLanguageModels》的翻译...

A Large-scale Holistic Multi-subject Knowledge Evaluation Benchmark for Chinese Large Language Model

本文是LLM系列文章，针对《LHMKE:ALargescaleHolisticMultisubjectKnowledgeEvaluation BenchmarkforChineseLargeLangu...

M3KE: A Massive Multi-Level Multi-Subject Knowledge Evaluation Benchmark for Chinese Large Language

文章目录 题目 摘要 简介 相关工作 M3KE 实验 结论 题目 M3KE：面向中文大型语言模型的海量多层次多学科知识评估基准 论文地址:https://arxiv.org/abs/2305.1026...

OMGEVAL：An Open Multilingual Generative Evaluation Benchmark for Large Language Models

本文是LLM系列文章，针对《OMGEVAL：AnOpenMultilingualGenerativeEvaluationBenchmarkforLargeLanguageModels》的翻译。

Leveraging Large Language Models for NLG Evaluation: A Survey

本文是LLM系列文章，针对《LeveragingLargeLanguageModelsforNLGEvaluation:ASurvey》的翻译。 利用大型语言模型进行NLG评估：一项调查 摘要 1引言...

MM-SafetyBench: A Benchmark for Safety Evaluation of Multimodal Large Language Models论文阅读

MMSafetyBench:ABenchmarkforSafetyEvaluationofMultimodalLargeLanguageModels 更多大模型安全相关以及机器学习相关的文章见主页 <...