Advertisement

DiaHalu: A Dialogue-level Hallucination Evaluation Benchmark for Large Language Models

阅读量：

本文是LLM系列文章，针对《DiaHalu: A Dialogue-level Hallucination Evaluation Benchmark for Large Language Models》的翻译。

DiaHalu：大型语言模型的对话级幻觉评价基准

  • 摘要
  • 1 引言
  • 2 相关工作
  • 3 DiaHalu概述
  • 4 DiaHalu的构造
  • 5 实验
  • 6 结论
  • 局限性

摘要

由于近年来大型语言模型（LLM）取得了显著的成功，幻觉问题仍然是一个挑战，因此提出了许多检测幻觉的基准。尽管如此，其中一些基准并不是LLM自然生成的，而是有意诱导的。此外，许多人只关注真实性幻觉，而忽视了忠实性幻觉。此外，尽管对话模式在LLM时代得到了更广泛的应用，但目前的基准只集中在句子层面和段落层面的幻觉。在这项研究中，我们提出了DiaHalu，这是我们所知的第一个对话级幻觉评估基准。最初，我们将收集的主题集成到系统提示中，并促进两个ChatGPT3.5之间的对话。随后，我们手动修改不符合人类语言约定的内容，然后重新生成LLM，模拟真实的人机交互场景。最后，专业学者对数据集中的所有样本进行注释。DiaHalu涵盖了四个常见的多回合对话领域和五种幻觉亚型，从真实性和忠实性幻觉扩展而来。在数据集上通过一些著名的LLM和检测方法进行的实验表明，DiaHalu是一个具有挑战性的基准，对进一步研究具有重要价值。

1 引言

2 相关工作

3 DiaHalu概述

4 DiaHalu的构造

5 实验

6 结论

在本文中，我们提出了一个对话级幻觉评估基准。我们分三步构建基准，并让专家对所有数据进行注释。DiaHalu涵盖了四个多回合对话领域和五个幻觉亚型。在数据集上通过一些众所周知的LLM和检测方法进行的实验表明，DiaHalu是一项具有挑战性的任务，对进一步研究具有重要价值（附录a.8）。

局限性

全部评论 (0)

还没有任何评论哟~

相关文章推荐

DiaHalu: A Dialogue-level Hallucination Evaluation Benchmark for Large Language Models

本文是LLM系列文章，针对《DiaHalu:ADialoguelevelHallucinationEvaluationBenchmarkforLargeLanguageModels》的翻译。

MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models

本文也是LLM系列相关文章，针对《MME:AComprehensiveEvaluationBenchmarkforMultimodalLargeLanguageModels》的翻译。

FineMath: A Fine-Grained Mathematical Evaluation Benchmark for Chinese Large Language Models

本文是LLM系列文章，针对《FineMath:AFineGrainedMathematicalEvaluationBenchmarkfor ChineseLargeLanguageModels》的翻译...

MT-Eval: A Multi-Turn Capabilities Evaluation Benchmark for Large Language Models

本文是LLM系列文章，针对《MTEval:AMultiTurnCapabilitiesEvaluationBenchmarkforLargeLanguageModels》的翻译。

OMGEVAL：An Open Multilingual Generative Evaluation Benchmark for Large Language Models

本文是LLM系列文章，针对《OMGEVAL：AnOpenMultilingualGenerativeEvaluationBenchmarkforLargeLanguageModels》的翻译。

M3KE: A Massive Multi-Level Multi-Subject Knowledge Evaluation Benchmark for Chinese Large Language

文章目录 题目 摘要 简介 相关工作 M3KE 实验 结论 题目 M3KE：面向中文大型语言模型的海量多层次多学科知识评估基准 论文地址:https://arxiv.org/abs/2305.1026...

Leveraging Large Language Models for NLG Evaluation: A Survey

本文是LLM系列文章，针对《LeveragingLargeLanguageModelsforNLGEvaluation:ASurvey》的翻译。 利用大型语言模型进行NLG评估：一项调查 摘要 1引言...

MM-SafetyBench: A Benchmark for Safety Evaluation of Multimodal Large Language Models论文阅读

MMSafetyBench:ABenchmarkforSafetyEvaluationofMultimodalLargeLanguageModels 更多大模型安全相关以及机器学习相关的文章见主页 <...

A Comprehensive Evaluation of Quantization Strategies for Large Language Models

本文是LLM系列文章，针对《AComprehensiveEvaluationofQuantizationStrategiesforLargeLanguageModels》的翻译。

论文阅读：AAAI-2024.SciEval: A Multi-Level Large Language Model Evaluation Benchmark for Scientifc

SciEval:AMultiLevelLargeLanguageModelEvaluationBenchmarkforScientifcResearch SciEval是一个基于科学原则设计的多层次评...