2024年RAG关键技术大盘点（9月—11月）
前两篇《2024年度RAG技术发展综述（第1季度至第Ⅱ季度）》与《探讨第Ⅲ至第Ⅳ季度的技术创新进展》分别总结了" 期间内的核心技术突破情况"
9月
AgentRE：以代理为基础的一种系统架构，在复杂信息环境下指导关系抽取任务的导航
深入探讨当前研究领域中的前沿问题：关于论文：[https://arxiv.org/abs/2409.01854](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2409.01854 "https://arxiv.org/abs/2409.01854)
项目链接：AgentRE模块
简介：
iText2KG：使用大型语言模型的增量式知识图谱构建
学术研究：ArXiv: https://zhihu.com/q/17576677?src=share&nt=1&sn=5c5b9d8a8b6f5a6f6b9dcedc&cham=1&cmat=1&cll=1&shs=1&smm=1&ref=share](https://arxiv.org/abs/2409.03284)
GitHub项目页面：https://github.com/AuvaLab/itext2kg（重定向）
简介： 该论文提出了iText2KG ，一种利用大型语言模型（LLMs）实现增量式知识图谱（Knowledge Graph, KG）构建的方法。iText2KG旨在动态地将不断更新的文本数据转化为知识图谱，特别适用于信息密集且变化频繁的场景。该方法结合了LLMs在自然语言理解方面的强大能力，能够从非结构化文本中提取实体、关系及其属性，并在已有知识图谱的基础上进行增量更新。实验表明，iText2KG在信息提取的准确性和图谱更新的效率方面表现优异，为知识图谱在动态环境中的构建和维护提供了有效方案。
GraphInsight：解锁大型语言模型对图结构理解的洞察
该研究的主要内容可在https://arxiv.org/abs/2409.03258这一学术文章中找到详细信息
简介： 该论文提出了GraphInsight ，一个探索大型语言模型（LLMs）在图结构理解能力方面的框架。研究者分析了LLMs如何处理图数据，并评估其在图相关任务（如节点分类、链接预测和子图匹配）上的表现。GraphInsight 通过一系列实验揭示了LLMs 在隐式图表示学习上的潜力，同时也指出了其在捕捉复杂拓扑结构时的局限性。研究表明，尽管LLMs 能够在某些任务上提供有价值的推理能力，但在精确建模图结构方面仍与专门的图神经网络（GNNs）存在差距。论文最终探讨了如何结合 LLMs 和图学习方法，以提升复杂图数据的理解和推理能力。
LA-RAG：利用检索增强生成提升基于LLM的自动语音识别（ASR）准确率
学术文章：https://arxiv.org/abs/2409.08597
简介： 该论文提出了LA-RAG （L arge Language Model-based A SR with R etrieval-A ugmented G eneration），一种结合检索增强生成（RAG）方法来提升大型语言模型在自动语音识别（ASR）任务中表现的框架。LA-RAG 通过引入外部知识库，检索与输入音频相关的上下文信息，并将其作为额外提示信息（prompt）来引导LLM生成更准确的转录文本。该方法在口音、专业术语或多变的语境下尤其有效。实验结果表明，LA-RAG 显著降低了转录错误率（WER），在复杂音频环境下表现优于传统 ASR 方法。
SFR-RAG：迈向上下文忠实性的LLM
（）（如图所示）《题图》（《题图》）《题图》
简介：
FlexRAG：面向检索增强生成的灵活上下文自适应
论文：https://arxiv.org/abs/2409.09916
简介： 该论文提出了一种轻量级且高效的方法，旨在提升检索增强生成（RAG）模型在不同上下文环境中的适应性。研究者通过引入更精简的模型结构和动态上下文选择机制，实现了在减少计算资源消耗的同时提升生成质量。该方法的核心思想是优化检索结果的利用方式，确保模型在面对冗余或噪声信息时，能够灵活筛选出最相关的内容。实验结果表明，该方法在多种文本生成任务中不仅显著降低了计算成本，还在响应准确性和上下文相关性方面优于传统 RAG 方法。
CoTKR：基于思维链增强的知识重写方法，用于复杂知识图谱问答
该论文：https://arxiv.org/abs/2409.19753
当前项目：[https://github.com/wuyike2000/CoTKR](https://link.zhihu.com/?target=https%3A//github.com/wuyike2000/CoTKR "path= /CoTKR)
简介：
10月
Open-RAG：基于开源大型语言模型的增强型检索增强推理
论文：[https://arxiv.org/abs/2410.01782](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2410.01782 https://arxiv.org/abs/2410.01782)
项目名称：https://github.com/ShayekhBinIslam/openrag
简介： 该论文提出了Open-RAG ，一种利用开源大型语言模型（LLMs）来提升检索增强生成（RAG）系统推理能力的方法。Open-RAG 旨在解决传统 RAG 框架在复杂推理任务中的局限性，特别是在信息不完整、检索结果存在噪声时的表现。该方法通过优化检索策略、引入自适应提示（adaptive prompting）机制，并结合开源 LLM 的可控性和可定制性，提升了模型在推理任务中的稳定性和准确度。实验结果表明，Open-RAG 在多种开放领域问答和复杂推理任务中均优于传统闭源 RAG 方法，同时具有更强的可扩展性和部署灵活性。
TableRAG：利用语言模型进行百万标记级表格理解
该学术资源：系统性地介绍前沿研究进展
简介：
LightRAG：简洁且快速的检索增强生成
这篇论文：[https://arxiv.org/abs/2410.05779](https://link.zhihu.com/?target=https%3A//arxiv.org(abs/2410.05779) "https://arxiv.org(abs/2410.05779)）。其中详细介绍了其创新方法及其在多个领域中的应用效果
官方项目：LightRAG的GitHub官方链接如下：light.rag
简介： 该论文提出了LightRAG ，一种旨在提高检索增强生成（RAG）模型效率的轻量级方法。LightRAG 通过精简模型架构、优化检索策略以及减少不必要的推理步骤，实现了更快的响应速度和更低的计算开销。尽管模型更轻量，LightRAG 仍在保持高生成质量的同时，显著提升了推理效率。实验结果表明，LightRAG 在问答、摘要生成等任务上表现出与传统 RAG 模型相当的准确度，同时在延迟和资源消耗方面大幅降低，特别适用于对响应速度和计算成本敏感的场景。
StructRAG：通过推理时混合信息结构化提升LLM的知识密集型推理能力
学术文章：[https://arxiv.org/abs/2410.08815](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2410.08815 "https://arxiv.org/abs/2410.08815)
学术文章：[https://arxiv.org/abs/2410.08815](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2410.08815 "https://arxiv.org/abs/2410.08815)
项目名称：[https://github.com/Li-Z-Q/StructRAG](https://link.zhihu.com/?target=https%3A//github.com/Li-Z-Q/StructRAG "Li Z Q的StructRAG项目)
简介：
RuleRAG：基于规则引导的检索增强生成方法，用于问答任务
学者
项目： RuleRAG-ICL-FT
GitHub项目地址： 此处
简介：该论文提出了一种名为RuleRAG的新方法，在信息检索与生成之间建立了融合关系（RAG），旨在显著提升问答系统的表现水平。该方法通过将领域特定的知识与约束机制相结合，在检索与生成环节进行指导作用（RAG），从而实现了回答过程中既利用检索信息又遵循生成规范的目标（RAG）。实验研究表明，在多个问答场景中展现出了卓越的效果（RAG），尤其在涉及领域知识与推理能力的场景中表现出色（RAG）。
11月
RuRAG：基于学习规则增强的生成方法，应用于大型语言模型
scholarly work titled "[https://arxiv.org/abs/2411.03349](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2411.03349 "https://arxiv.org/abs/2411.03349)"
简介： 该论文提出了RuAG ，一种通过学习规则增强生成（Generation）策略的方法，用于提升大型语言模型（LLMs）的生成能力。RuAG 结合了从数据中自动学习到的规则，以增强语言模型在生成过程中对语言结构和语义逻辑的控制。这些规则能够帮助模型更准确地推理和生成符合特定领域要求的内容，尤其在处理复杂的推理和专业领域任务时，具有显著优势。实验结果表明，RuAG 在多个生成任务中表现优异，能够生成更高质量、更符合语境的文本，特别是在需要推理和规范化生成内容的场景下表现更加出色。
RAGViz：诊断与可视化检索增强生成
论文：https://arxiv.org/abs/2411.01751
项目详情：GitHub RAGViz代码仓库
项目详情：GitHub RAGViz代码仓库
简介： 该论文提出了RAGViz ，一种用于诊断和可视化检索增强生成（RAG）模型的方法。RAGViz 旨在帮助研究者和开发者理解 RAG 模型在推理过程中如何检索信息、如何生成答案，并分析检索和生成阶段的相互作用。通过可视化检索的相关文档、生成的推理路径以及模型的决策过程，RAGViz 提供了对 RAG 模型行为的深入洞察，从而帮助优化模型的表现。实验表明，RAGViz 在多个任务中有效揭示了模型的优缺点，尤其在检索和生成的协调性及效率方面提供了有价值的反馈，有助于模型的进一步改进。
KAG：通过知识增强生成提升大型语言模型在专业领域的表现
文章标题：[https://arxiv.org/abs/2409.13731](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2409.13731 "https://arxiv.org/abs/2409.13731)
项目：https://github.com/OpenSPG/KAG
简介： 该论文提出了KAG （Knowledge Augmented Generation），一种通过结合专业领域知识来增强大型语言模型（LLMs）生成能力的方法。KAG 通过将领域特定的知识库与语言模型结合，提供了更精确和专业的生成能力，尤其适用于法律、医学、金融等专业领域。该方法通过引入外部知识源，使得 LLMs 能够在专业领域任务中更好地理解和生成高质量的内容，同时提升模型在处理复杂专业问题时的准确性和可靠性。实验结果表明，KAG 在多个专业领域的任务中，尤其是在需要深厚领域知识和复杂推理的场景下，相比传统 LLM 方法有显著的性能提升。
FILCO：学习过滤上下文用于检索增强生成
该论文可通过[https://arxiv.org/abs/2311.08377](https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2311.08377 "https://arxiv.org/abs/2311.08377)进行可访问。”
项目链接：GitHub路径
简介： 本文提出了一种新方法旨在增强RAG模型在信息提取方面的性能。该方法的核心在于通过学习筛选出对当前任务最有帮助的信息片段，并进一步提升生成内容的质量水平。为了实现这一目标本文设计了一种创新性框架并开发了一种算法来自动识别与当前查询直接相关的文本片段。这种算法不仅能够有效减少无关或冗余的信息干扰还能够使提取出的信息更加具有针对性和重要性。本方法通过对检索机制的改进实现了对现有信息资源的有效优化并显著提升了回答质量和相关度尤其是在多源信息处理方面表现尤为突出。实验结果表明该方法不仅能够在复杂场景下保持高效运行还能在多轮对话中持续提供高质量的回答表现明显优于传统的检索策略
HtmlRAG：HTML 比纯文本更适合在 RAG 系统中建模检索到的知识
论文：https://arxiv.org/abs/2411.02959
项目库：https://github.com/plageon/HtmlRAG
简介： 该论文提出了HtmlRAG ，一种改进的检索增强生成（RAG）系统方法，认为 HTML 格式比纯文本更适合用于建模检索到的知识。作者指出，HTML 格式不仅能保留更多的结构化信息（如标题、段落、列表等），还能够提供更丰富的上下文，从而帮助模型更好地理解和利用检索到的知识。该方法通过将 HTML 格式的文档引入到 RAG 系统中，使得生成模型在处理复杂的结构化数据时能够有效提取并利用信息。实验表明，HtmlRAG 在多个基准任务中表现优越，尤其在需要结构化信息的任务中，比传统的纯文本方法具有更高的准确性和生成质量。
总结
基于2024年9月至11月期间收集的多篇文献观点，其发展趋势主要呈现为以下几个方面
- 增强模型的知识获取能力：传统的RAG方法主要依赖外部检索库来提升模型的生成能力。然而，在信息检索与生成过程中容易受到信息噪声和不恰当的上下文选择的影响。为了进一步优化生成质量，在近期的研究中（如《Learning to Filter Context for Retrieval-Augmented Generation》）提出了基于学习机制的上下文过滤方法。这种方法能够使模型自动识别并选择与任务最相关的知识资源，从而显著提高生成结果的准确性和可靠性。
- 结构化信息的利用：近年来有多篇相关研究（如《HtmlRAG》）报道指出，在建模和检索知识时，HTML格式相较于纯文本能够更好地保留语义和结构信息（如标题、段落、列表等）。这种特性使得基于HTML格式的知识表示方式在复杂性上优于传统文本处理方法，并且有助于提升生成模型的理解能力和推理性能。
- 引入领域知识：为了提升生成模型在专业领域（如医学、法律、金融等）的应用效果，越来越多的研究开始将领域知识库与RAG系统相结合。通过引入相关领域的专业知识和技术手段，在复杂的专业场景下显著提升了语言模型的整体性能指标。
- 推理与规则的结合：另有研究表明（如《RuAG》），通过整合学习规则与推理机制的方式能够有效提高RAG系统的生成质量。这种结合不仅增强了系统的逻辑推理能力，还使其能够在多样的应用场景中提供更加精准且符合语境的答案支持。
总体而言，RAG的发展趋势正朝着智能化、结构化以及专业化的发展方向不断演进。未来RAG系统将在优化内容筛选能力、构建系统化的知识架构以及充分整合专业领域的知识储备方面取得显著进展.其在处理复杂任务时的能力将进一步得到提升
关于我
作为一名程序员'塞大花'专注于技术和职业发展我对工作环境既有深入观察又不失幽默感的态度未来我将与大家分享行业技术和编程技巧等前沿信息并就如何在职业生涯中取得成功提供一些建议
热烈欢迎您的关注！让我们共同探索技术与职场之间的无限可能吧！我拥有两个活跃的平台：一个是账号‘塞大花’，另一个是知乎号‘塞大花’。还有一个微信公众号叫做‘程序员非正规指南’。
热烈欢迎您的关注！让我们共同探索技术与职场之间的无限可能吧！我拥有两个活跃的平台：一个是账号"塞大花"，另一个是知乎号"塞大花"。还有一个微信公众号叫做"程序员非正规指南"。