Advertisement

RefuteBench: Evaluating Refuting Instruction-Following for Large Language Models

阅读量：

本文是LLM系列文章，针对《RefuteBench: Evaluating Refuting Instruction-Following for Large
Language Models》的翻译。

RefuteBench:评估大型语言模型的反驳指令遵循

  • 摘要
  • 1 引言
  • 2 相关工作
  • 3 问题定义
  • 4 数据收集
  • 5 实验结果
  • 6 分析
  • 7 结论
  • 8 局限性

摘要

大型语言模型（LLM）的应用范围正在日益扩大。在实际使用中，用户可能会根据模型的输出提供反馈，希望有一个响应模型能够根据他们的反馈完成响应。该模型是否能够适当地回应用户的反驳反馈，并始终如一地执行，还没有得到彻底的分析。有鉴于此，本文提出了一个全面的基准RefuteBench，涵盖问答、机器翻译和电子邮件写作等任务。该评估旨在评估模型是否能够积极接受反驳指令形式的反馈，以及它们是否能够在整个对话中始终如一地遵守用户需求。我们对许多LLM进行了评估，发现LLM很顽固，即倾向于其内部知识，经常不遵守用户反馈。此外，随着对话长度的增加，模型会逐渐忘记用户所说的反馈，转而使用自己的回答。我们进一步提出了召回和重复提示，作为一种简单有效的方法来提高模型对反馈的响应能力。

1 引言

2 相关工作

3 问题定义

4 数据收集

5 实验结果

6 分析

7 结论

在本文中，我们提出了一个基准RefuteBench，该基准侧重于通过多轮交互评估LLM的顽固性。我们设计了来自知识、多种语言和写作的反驳说明，以全面测试模型的性能。我们观察到LLM表现出坚持其内部知识的倾向。进一步提出了一种简单有效的方法来提高反驳指令的响应率。

8 局限性

全部评论 (0)

还没有任何评论哟~

相关文章推荐

RefuteBench: Evaluating Refuting Instruction-Following for Large Language Models

本文是LLM系列文章，针对《RefuteBench:EvaluatingRefutingInstructionFollowingforLarge LanguageModels》的翻译。

A Chinese Instruction-Following Benchmark for Evaluating the Generalizability of Large Language Mode

本文是LLM系列文章，针对《CIFBench:AChineseInstructionFollowingBenchmarkforEvaluatingtheGeneralizabilityofLargeL...

Instruction Tuning for Large Language Models: A Survey

本文是LLM系列文章，针对《InstructionTuningforLargeLanguageModels:ASurvey》的翻译。 大语言模型指令调整：综述 摘要 1引言 2方法 3数据集 4指令微...

Instruction Tuning for Large Language Models: A Survey

目录 Abstract 1\.Introduction 好处： 挑战： 2\.Method 3\.Dataset 4\.指令微调的LLM 5\.多模态指令微调 6\.特定领域的指令微调 7\.高效的调...

Argument Quality Assessment in the Age of Instruction-Following Large Language Models

本文是LLM系列文章，针对《ArgumentQualityAssessmentintheAgeofInstructionFollowingLargeLanguageModels》的翻译。

CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models

本文是LLM系列文章，针对《CoMMIT:CoordinatedInstructionTuningforMultimodalLargeLanguageModels》的翻译。

Dual Instruction Tuning with Large Language Models for Mathematical Reasoning

本文是LLM系列文章，针对《DualInstructionTuningwithLargeLanguageModelsforMathematicalReasoning》的翻译。

[BELLE] Towards better instruction following language models for chinese: investigating the impact .

introduction 大部分工作基于llama，GPT3.5和GPT4被用来生成高质量对齐数据，stanfordalpaca利用selfinstruct，基于175个种子任务使用gpt3.5生成了...

CLongEval: A Chinese Benchmark for Evaluating Long-Context Large Language Models

本文是LLM系列文章，针对《CLongEval:AChineseBenchmarkforEvaluatingLongContextLargeLanguageModels》的翻译。

CRITICBENCH: Evaluating Large Language Models as Critic

本文是LLM系列文章，针对《CRITICBENCH:EvaluatingLargeLanguageModelsasCritic》的翻译。 CRITICBENCH：作为批评家评价大型语言模型 摘要 1引...