Advertisement

DeepRAG: Thinking to Retrieval Step by Step for Large Language Models

阅读量：

这篇综述性文章专门针对《DeepRAG: Thinking to Retrieval Step by Step for Large Language Models》一书的内容进行了转译。

DeepRAG：大型语言模型逐步检索的思考

  • 摘要
  • 1 引言
  • 2 相关工作
  • 3 逐步检索的思考
  • 4 实验
  • 5 分析
  • 6 结论

摘要

大型语言模型（LLMs）在推理能力方面展现出显著的潜力。然而，在参数知识的及时性、准确性和覆盖范围方面存在问题导致它们仍存在严重事实幻觉现象。与此同时，在处理推理与检索增强生成（RAG）集成时面临挑战主要是由于低效的任务分解策略以及冗余的数据检索过程这可能导致集成效果不稳定并影响整体性能。为了克服这些困难我们提出了一种名为DeepRAG的新框架它通过将检索增强推理建模为马尔可夫决策过程（MDP）实现了战略性的自适应检索系统。该框架通过迭代分解查询任务并在每一步动态决定是依赖外部知识还是参数推理从而优化了整个系统的性能实验结果表明DeepRAG不仅显著提升了检索效率而且将答案准确率提高了21.99%这一成绩证明了其在提升检索增强推理性能方面具有重要意义。

1 引言

2 相关工作

3 逐步检索的思考

4 实验

5 分析

6 结论

在本文中, 我们提出了一种名为DeepRAG的方法, 这是一种简洁且实用性强的技术, 主要通过自我调节机制优化LLM在检索方面的性能。本方法将输入的查询划分为多个子查询, 并利用二叉树搜索结构进行数据整合, 从而帮助模型更准确地把握知识范围和应用边界。经过一系列问答任务的实验测试, 验证表明DeepRAG显著提升了检索增强生成过程中的准确性和效率

全部评论 (0)

还没有任何评论哟~

相关文章推荐

DeepRAG: Thinking to Retrieval Step by Step for Large Language Models

本文是LLM系列文章，针对《DeepRAG:ThinkingtoRetrievalStepbyStepforLargeLanguageModels》的翻译。

DeepRAG: Thinking to Retrieval Step by Step for Large Language Models自适应逐步检索增强

知识回顾 RAG系统的类型 1单代理RAG 单代理RAG系统使用一个集中式代理来管理信息的检索、路由和集成。该架构适用于工具或数据源数量有限的场景。代理评估用户查询，选择最合适的知识源，检索数据，并将...

LLaVA-CoT: Let Vision Language Models Reason Step-by-Step

本文是LLM系列文章，针对《LLaVACoT:LetVisionLanguageModelsReasonStepbyStep》的翻译。 LLaVACoT：让视觉语言模型逐步推理 摘要 1引言 2相关工...

读论文-LLaVA-o1: Let Vision Language Models Reason Step-by-Step

摘要主要内容：大型语言模型在推理能力方面取得了显著的进步，例如Openai的o1模型，然而当前的视觉语言模型（VLMs）在处理复杂的视觉问答任务时，常常难以进行系统化和结构化的推理。

Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs

Abstract 提高LLM在复杂问答场景的性能，视图通过逐步规划和外部检索结合提高LLM能力。介绍一种新颖框架，通过使用从KG导出的规划数据来增强LLM的规划能力。利用这些数据进行微调LLM，使他们...

Query Rewriting for Retrieval-Augmented Large Language Models

文章目录 题目 摘要 方法 实验 题目 检索增强大语言模型的查询重写 论文地址：https://arxiv.org/abs/2305.14283 项目地址：https://github.com/xbm...

Retrieval-Augmented Generation for Large Language Models: A Survey

本文是LLM系列文章，针对《RetrievalAugmentedGenerationforLargeLanguageModels:ASurvey》的翻译。

Retrieval-Augmented Generation for Large Language Models: A Survey

论文下载：<https://arxiv.org/abs/2312.10997 本文原作为论文“RetrievalAugmentedGenerationforLargeLanguageModels:AS...

Retrieval-Augmented Generation for Large Language Models A Survey

RetrievalAugmentedGenerationforLargeLanguageModels:ASurvey文献综述 文章目录 RetrievalAugmentedGenerationforL...

[论文阅读]Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smal

中文译名：逐步蒸馏！以较少的训练数据和较小的模型规模超越较大的语言模型 发布链接：<http://arxiv.org/abs/2305.02301 AcceptedtoFindingsofACL202...