llama_index 官方文档阅读笔记 (持续更新版)

llama 0.10.17🦙 版本 阅读

链接: LlamaIndex 🦙 v0.10.17

LlamaIndex 是一个基于 LLM 的应用程序的数据框架，它受益于上下文增强。这种LLM系统被称为RAG系统，代表“检索-增强生成”****。 LlamaIndex 提供了必要的抽象，以便更轻松地摄取、构建和访问私有或特定于域的数据，以便将这些数据安全可靠地注入 LLM，以实现更准确的文本生成。

🚀 为什么选择上下文增强？LLM的局限

LLM 在人类和数据之间提供了一个自然语言接口。广泛可用的模型是在大量公开数据（如维基百科、邮件列表、教科书、源代码等）上预先训练的。然而，虽然 LLM 是在大量数据上训练的，但它们并没有在你的 数据上训练，这些数据可能是私有的，也可能是特定于你试图解决的问题。它位于 API 后面、SQL 数据库中，或被困在 PDF 和幻灯片中。

您可以选择使用您的数据微调 LLM，但是：LLM是昂贵的 。由于培训成本高昂，很难用最新信息更新 LLM。缺乏可观测性 。当你问一个LLM一个问题时，LLM是如何得出答案的并不明显。

无需微调，而是可以使用称为检索增强生成 （RAG） 的上下文增强模式来获取与特定数据相关的更准确的文本生成。RAG 涉及以下高级步骤：首先从数据源中检索信息，将其作为上下文添加到您的问题中，然后要求 LLM 根据丰富的提示回答。

通过这样做，RAG 克服了微调方法的所有三个弱点：不涉及培训，所以很便宜 。只有在您提出要求时才会获取数据，因此数据始终是最新的 。LlamaIndex 可以向您显示检索到的文档，因此更值得信 赖。

🦙 为什么选择 LlamaIndex 进行上下文增强？

首先，LlamaIndex 对您使用 LLM 的方式没有限制。您仍然可以将 LLM 用作自动完成、聊天机器人、半自主代理等（请参阅左侧的用例）。它只会使 LLM 与您更相关。LlamaIndex 提供以下工具来帮助您快速建立生产就绪的 RAG 系统：

数据连接器 从其本机源和格式引入现有数据。这些可以是 API、PDF、SQL 等等。

数据索引 以中间表示形式构建数据，这些表示形式对 LLM 来说既简单又高效。

引擎 提供对数据的自然语言访问。例如：查询引擎是用于知识增强输出的强大检索接口。聊天引擎是用于与数据进行多消息“来回”交互的对话界面。

数据代理 是由 LLM 驱动的知识工作者，通过工具进行增强，从简单的帮助程序函数到 API 集成等。

应用程序集成将 LlamaIndex 重新绑定到生态系统的其余部分。这可能是 LangChain、Flask、Docker、ChatGPT 或......别的东西！

开始

要安装库，请执行以下操作：

pip install llama-index

我们建议您从如何阅读这些文档开始，这些文档将根据您的经验水平为您指明正确的位置。

社区

推特：https://twitter.com/llama_index

不和谐 https://discord.gg/dGcwcsnxhU

相关项目

🏡 LlamaHub：https://llamahub.ai |大型（且还在不断增长）的自定义数据连接器集合

🧪 LlamaLab：GitHub - run-llama/llama-lab |建立在LlamaIndex之上的雄心勃勃的项目

安装设置过程略。

检索增强生成 （RAG）

LLM 是在大量数据上训练的，但它们不是在您的 数据上训练的。检索增强生成 （RAG） 通过将数据添加到 LLM 已经有权访问的数据中来解决这个问题 。在本文档中，您将经常看到对 RAG 的引用。在 RAG 中，您的数据被加载并准备用于查询或“索引”。用户查询作用于索引，索引将数据筛选到最相关的上下文。然后，此上下文和您的查询会随着提示一起转到 LLM，LLM 会提供响应。即使您正在构建的是聊天机器人或代理，您也希望了解将数据导入应用程序的 RAG 技术。

RAG 中的阶段

RAG 中有五个关键阶段，而这些阶段又将成为您构建的任何大型应用程序的一部分。这些是：

加载 ：这是指将数据从其所在位置（无论是文本文件、PDF、其他网站、数据库还是 API）获取到管道中。LlamaHub 提供数百种连接器供您选择。

索引 ：这意味着创建一个允许查询数据的数据结构 。对于 LLM 来说，这几乎总是意味着创建数据含义的数字表示，以及许多其他元数据策略，以便轻松准确地找到上下文相关的数据。vector embeddings

存储 ：数据编制索引后，您几乎总是希望存储索引以及其他元数据，以避免重新编制索引。

查询 ：对于任何给定的索引策略，您可以通过多种方式利用 LLM 和 LlamaIndex 数据结构进行查询，包括子查询、多步查询和混合策略 。

评估 ：任何管道中的关键步骤是检查它相对于其他策略的有效性，或者何时进行更改。评估提供了客观的衡量标准，以衡量您对查询的响应的准确性、忠实度和速度 。

每个步骤中的重要概念

您还会遇到一些术语，这些术语指的是每个阶段中的步骤。

加载阶段

节点和文档：A Document 是围绕任何数据源的容器 - 例如，PDF、API 输出或从数据库检索数据。A Node是 LlamaIndex 中数据的原子单位，表示源的“块Document”。节点具有元数据，可将它们与它们所在的文档以及其他节点相关联。

连接器： 数据连接器（通常称为 Reader）将来自不同数据源和数据格式的数据引入到 Documents和 Nodes中。

索引阶段

索引: 摄取数据后，LlamaIndex 将帮助您将数据索引到易于检索的结构中 。这通常涉及生成矢量嵌入，这些嵌入存储在称为矢量存储的专用数据库中 。索引还可以存储有关数据的各种元数据。

嵌入: LLM生成称为embeddings的数据的数字表示。在筛选数据的相关性时，LlamaIndex 会将查询转换为嵌入，并且向量存储将查找与查询嵌入在数值上相似的数据 。

查询阶段

猎犬： 检索器定义在给定查询时如何有效地从索引中检索相关上下文。检索策略是检索数据的相关性和效率的关键。

路由器： 路由器确定将使用哪个检索器从知识库中检索相关上下文 。更具体地说，该RouterRetriever类负责选择一个或多个候选检索器来执行查询。他们使用选择器根据每个候选人的元数据和查询来选择最佳选项。

节点后处理器： 节点后处理器接收一组检索到的节点，并对其应用转换、过滤或重新排序逻辑 。

响应合成器： 响应合成器使用用户查询和一组给定的检索文本块从 LLM 生成响应。

把它们放在一起

数据支持的 LLM 应用程序有无穷无尽的用例，但它们可以大致分为三类：

查询引擎： 查询引擎是一个端到端管道，可用于对数据提出问题。它接受自然语言查询，并返回响应，以及检索并传递给 LLM 的引用上下文。

聊天引擎： 聊天引擎是用于与数据进行对话的端到端管道（多个来回而不是单个问答）。

代理商： 智能体是由 LLM 提供支持的自动化决策者，它通过一组工具与世界互动。座席可以采取任意数量的步骤来完成给定的任务，动态地决定最佳行动方案，而不是遵循预先确定的步骤。这使其具有更大的灵活性，可以处理更复杂的任务。

自定义任务需求 :自定义教程 - LlamaIndex 🦙 v0.10.17

构建 LLM 应用程序#

使用 LLM ：无论是 OpenAI 还是任意数量的托管 LLM 还是您自己的本地运行模型，LLM 都会在每一步使用，从索引和存储到查询和解析您的数据。LlamaIndex 带有大量可靠、经过测试的提示，我们还将向您展示如何自定义自己的提示。

加载 ：从任何位置获取数据，无论是非结构化文本、PDF、数据库还是 API，都可以将其发送到其他应用程序。LlamaIndex 在 LlamaHub 上为每个数据源提供了数百个连接器。

索引 ：一旦你有了你的数据，有无数种方法可以构建对该数据的访问，以确保你的应用程序始终使用最相关的数据。LlamaIndex 内置了大量此类策略，可以帮助您选择最佳策略。

存储 ：您可能会发现以索引形式存储数据或由 LLM 提供的预处理摘要（通常存储在称为 a 的专用数据库中）会更有效（见下文）。您还可以存储索引、元数据等。Vector Store

查询 ：每个索引策略都有相应的查询策略，有很多方法可以提高您检索的内容的相关性、速度和准确性，以及 LLM 在将其返回给您之前对它做了什么，包括将其转换为结构化响应，例如 API。

总而言之 ：无论您是在构建问答、聊天机器人、API 还是自主代理，我们都会向您展示如何将您的应用程序投入生产。

跟踪和调试 ：也称为可观测性 ，对于 LLM 应用程序来说，能够查看正在发生的事情的内部工作原理以帮助您调试问题并发现需要改进的地方尤为重要。

评估 ：每种策略都有优点和缺点，构建、交付和改进应用程序的一个关键部分是评估您的更改是否在准确性、性能、清晰度、成本等方面改进了您的应用程序。可靠地评估您的更改是 LLM 应用程序开发的关键部分。

评估 Evaluating - LlamaIndex 🦙 v0.10.17

概念

评估和基准测试是LLM开发中的关键概念。要提高 LLM 应用程序（RAG、代理）的性能，您必须有一种方法来衡量它。LlamaIndex 提供关键模块来衡量生成结果的质量。我们还提供衡量检索质量的关键模块。

响应评估 ：响应是否与检索到的上下文匹配？它是否也与查询匹配？它是否与参考答案或指南相符？

检索评估 ：检索到的源是否与查询相关？

本节介绍 LlamaIndex 中的评估组件的工作原理。

响应评估

对生成的结果进行评估可能很困难，因为与传统的机器学习不同，预测结果不是一个单一的数字，并且很难为这个问题定义定量指标。LlamaIndex提供基于LLM的 评估模块来衡量结果的质量。这使用“黄金”LLM（例如 GPT-4）来决定预测的答案是否以各种方式正确。**请注意，这些当前评估模块中的许多 不需要 真实标签。**评估可以通过查询、上下文、响应、 并将它们与 LLM 调用相结合。这些评估模块采用以下形式：

正确性 ：生成的答案是否与给定查询的参考答案匹配（需要标签）。

语义相似性 ：预测答案在语义上是否与参考答案相似（需要标签）。

忠实度 ：评估答案是否忠实于检索到的上下文（换句话说，是否有幻觉）。

上下文相关性 ：检索到的上下文是否与查询相关。

答案相关性 ：生成的答案是否与查询相关。

指南依从性 ：预测的答案是否符合特定指南。

问题生成

除了评估查询外，LlamaIndex 还可以使用您的数据生成要评估的问题。这意味着您可以自动生成问题，然后运行评估管道来测试 LLM 是否真的可以使用您的数据准确回答问题 。

检索评估

我们还提供模块来帮助独立评估检索 。检索评估的概念并不新鲜;给定一个问题数据集和真实排名，我们可以使用平均倒数排名 （MRR）、命中率、精度等排名指标来评估猎犬 。核心检索评估步骤围绕以下内容展开：

数据集生成 ：给定一个非结构化文本语料库，合成生成（问题、上下文）对。

检索评估 ：给定一个检索器和一组问题，使用排名指标评估检索到的结果。

集成

我们还与社区评估工具集成。

上行列车

Tonic Validate（包括用于可视化结果的 Web UI）

DeepEval （英语）

拉加斯

使用模式

有关完整的使用详细信息，请参阅下面的使用模式。

使用模式（响应评估）

使用BaseEvaluator

​​​​​ LlamaIndex中的所有评估模块都实现 BaseEvaluator 类，主要有两种方法：
1. evaluate 方法接受query, contexts, response和其他关键字参数。

     def evaluate(

    
     self,
    
     query: Optional[str] = None,
    
     contexts: Optional[Sequence[str]] = None,
    
     response: Optional[str] = None,
    
     **kwargs: Any,
    
     ) -> EvaluationResult:

2. evaluate_response 方法提供了一个替代接口，该接口接受llamaindex Response 对象（包含响应字符串和源节点），而不是单独的 contexts 和response。

 def evaluate_response(

    
     self,
    
     query: Optional[str] = None,
    
     response: Optional[Response] = None,
    
     **kwargs: Any,
    
 ) -> EvaluationResult:

它在功能上与evaluate相同，只是在直接处理llamaindex对象时更容易使用。

使用 EvaluationResult****

​​​​每个评估器在执行时都会输出一个EvaluationResult ：

 eval_result = evaluator.evaluate(query=..., contexts=..., response=...)

    
 eval_result.passing  # binary pass/fail
    
 eval_result.score  # numerical score
    
 eval_result.feedback  # string feedback

不同的评估者可以填充结果字段的子集。

评估反应的真实性（即幻觉）​​​​​

FaithfulnessEvaluator 评估答案是否忠实于检索到的上下文（换句话说，是否存在幻觉）。

 from llama_index.core import VectorStoreIndex

    
 from llama_index.llms.openai import OpenAI
    
 from llama_index.core.evaluation import FaithfulnessEvaluator
    
  
    
 # create llm
    
 llm = OpenAI(model="gpt-4", temperature=0.0)
    
  
    
 # build index
    
 ...
    
  
    
 # define evaluator
    
 evaluator = FaithfulnessEvaluator(llm=llm)
    
  
    
 # query index
    
 query_engine = vector_index.as_query_engine()
    
 response = query_engine.query(
    
     "What battles took place in New York City in the American Revolution?"
    
 )
    
 eval_result = evaluator.evaluate_response(response=response)
    
 print(str(eval_result.passing))

您还可以选择单独评估每个源上下文 ：

 from llama_index.core import VectorStoreIndex

    
 from llama_index.llms.openai import OpenAI
    
 from llama_index.core.evaluation import FaithfulnessEvaluator
    
  
    
 # create llm
    
 llm = OpenAI(model="gpt-4", temperature=0.0)
    
  
    
 # build index
    
 ...
    
  
    
 # define evaluator
    
 evaluator = FaithfulnessEvaluator(llm=llm)
    
  
    
 # query index
    
 query_engine = vector_index.as_query_engine()
    
 response = query_engine.query(
    
     "What battles took place in New York City in the American Revolution?"
    
 )
    
 response_str = response.response
    
 for source_node in response.source_nodes:
    
     eval_result = evaluator.evaluate(
    
     response=response_str, contexts=[source_node.get_content()]
    
     )
    
     print(str(eval_result.passing))

您将返回一个结果列表，对应于response.source_nodes中的每个源节点。

评估查询+响应相关性

RelevancyEvaluator 评估检索到的上下文和答案是否与给定查询相关且一致。
请注意，除了 Response对象之外，此计算器还要求传入 query 。

 from llama_index.core import VectorStoreIndex

    
 from llama_index.llms.openai import OpenAI
    
 from llama_index.core.evaluation import RelevancyEvaluator
    
  
    
 # create llm
    
 llm = OpenAI(model="gpt-4", temperature=0.0)
    
  
    
 # build index
    
 ...
    
  
    
 # define evaluator
    
 evaluator = RelevancyEvaluator(llm=llm)
    
  
    
 # query index
    
 query_engine = vector_index.as_query_engine()
    
 query = "What battles took place in New York City in the American Revolution?"
    
 response = query_engine.query(query)
    
 eval_result = evaluator.evaluate_response(query=query, response=response)
    
 print(str(eval_result))

同样，您也可以在特定的源节点上进行计算。

问题生成

LlamaIndex还可以使用您的数据生成要回答的问题。与上述评估器结合使用，您可以在数据上创建一个完全自动化的评估管道。

 from llama_index.core import SimpleDirectoryReader

    
 from llama_index.llms.openai import OpenAI
    
 from llama_index.core.llama_dataset.generator import RagDatasetGenerator
    
  
    
 # create llm
    
 llm = OpenAI(model="gpt-4", temperature=0.0)
    
  
    
 # build documents
    
 documents = SimpleDirectoryReader("./data").load_data()
    
  
    
 # define generator, generate questions
    
 dataset_generator = RagDatasetGenerator.from_documents(
    
     documents=documents,
    
     llm=llm,
    
     num_questions_per_chunk=10,  # set the number of questions per nodes
    
 )
    
  
    
 rag_dataset = dataset_generator.generate_questions_from_nodes()
    
 questions = [e.query for e in rag_dataset.examples]

批量评估

我们还提供了一个批评估运行程序，用于运行一组评估器来处理许多问题。

 from llama_index.core.evaluation import BatchEvalRunner

    
  
    
 runner = BatchEvalRunner(
    
     {"faithfulness": faithfulness_evaluator, "relevancy": relevancy_evaluator},
    
     workers=8,
    
 )
    
  
    
 eval_results = await runner.aevaluate_queries(
    
     vector_index.as_query_engine(), queries=questions
    
 )

更多资料

​​​​​

使用模式（检索）

使用RetrieverEvaluator
这将在给定检索器的单个查询+基本事实文档集上运行评估 。标准做法是使用 from_metrics指定一组有效的度量。

 from llama_index.core.evaluation import RetrieverEvaluator

    
  
    
 # define retriever somewhere (e.g. from index)
    
 # retriever = index.as_retriever(similarity_top_k=2)
    
 retriever = ...
    
  
    
 retriever_evaluator = RetrieverEvaluator.from_metric_names(
    
     ["mrr", "hit_rate"], retriever=retriever
    
 )
    
  
    
 retriever_evaluator.evaluate(
    
     query="query", expected_ids=["node_id1", "node_id2"]
    
 )

构建评估数据集
您可以手动策划问题+节点id的检索评估数据集。我们还通过generate_question_context_pairs 函数在现有文本语料库上提供合成数据集生成 ：

 from llama_index.core.evaluation import generate_question_context_pairs

    
  
    
 qa_dataset = generate_question_context_pairs(
    
     nodes, llm=llm, num_questions_per_chunk=2
    
 )

返回的结果是一个EmbeddingQAFinetuneDataset对象（包含 queries、relevant_docs, corpus）。

将其插入RetrieverEvaluator
我们提供了一个方便的函数，可以在批处理模式下对数据集运行RetrieverEvaluator 。

    eval_results = await retriever_evaluator.aevaluate_dataset(qa_dataset)

这应该比您尝试分别对每个查询调用 .evaluate要快得多。

模块

可以在下面找到使用这些组件的笔记本。

• 模块

Evaluating with LabelledRagDataset’s#

For details on how to perform evaluation of a RAG system with various evaluation datasets, called LabelledRagDataset’s see below:

• Evaluating With LabelledRagDataset’s
• Contributing A LabelledRagDataset
  

评估模块的深入展开

可以在下面找到使用这些组件的笔记本。

响应评估

忠诚度评估员 ​​​​​​Faithfulness Evaluator

使用该模块来测量来自查询引擎的响应是否与任何源节点(节点表示源文档的“块”，无论是文本块、图像还是其他,可参考节点和文档)匹配。这对于测量反应是否是幻觉很有用 。输出示例:

        1. vector_query_engine = vector_index.as_query_engine()

    
        2. correct, total = evaluate_query_engine(vector_query_engine, eval_questions[:5])
    
        3.  
    
        4. print(f"score: {correct}/{total}")
    
        5. finished query
    
        6. score: 5/5

相关性评估器 Relevancy Evaluator

使用 RelevancyEvaluator 来测量响应+源节点是否与查询匹配。
这对于测量响应 是否真的回答了查询非常有用。

答案相关性和上下文相关性评估 Answer Relevancy and Context Relevancy

利用 AnswerRelevancyEvaluator 和 ContextRelevancyEvaluator 类来分别测量生成的答案和检索到的上下文与给定用户 查询的相关性 。这两个评估者都返回一个介于0和1之间的 score ，以及一个生成的解释分数的 feedback 。请注意， 分数越高意味着相关性越高 。特别是，我们 提示法官LLM采取循序渐进的方法来提供相关性得分 ，要求其回答以下两个问题，即生成的答案对答案相关性的查询（对于上下文相关性，这些问题略有调整）：
提供的回复是否与用户查询的主题相匹配？
所提供的回复是否试图解决用户查询所关注的主题或观点？
每个问题都值1分，因此一个完美的评估会得到2/2分。

🚀 RAG/LLM 评估器 - DeepEval RAG/LLM Evaluators - DeepEval

本代码教程展示了如何轻松地将 DeepEval与LlamaIndex集成 。DeepEval使您可以轻松地对RAG/LLM进行单元测试。
您可以在此处阅读有关DeepEval框架的更多信息： https://docs.confident-ai.com/docs/getting-started
请随时在GitHub上查看我们的存储库： https://github.com/confident-ai/deepeval

指标类型

DeepEval 提供了一个用于单元测试 RAG 应用程序的自以为是的框架。它将评估分解为测试用例，并提供一系列评估指标，您可以针对每个测试用例自由评估这些指标 ，包括：1. G-评估 2.综述 3.答案相关性 4.忠诚 5.情境回忆 6.上下文精度 7.上下文相关性 8.拉加斯 9.幻觉10.偏见 11.毒性

DeepEval将最新研究纳入其评估指标，然后用于为LlamaIndex的评估人员提供动力。您可以在 这里了解更多关于指标的完整列表以及它们是如何计算的。

有关所有评估器定义以及它如何与 DeepEval 的测试套件集成， 请单击此处。

Useful Links

DeepEval Quickstart

Everything you need to know about LLM evaluation metrics(可参考博客LLM Evaluation Metrics: Everything You Need for LLM Evaluation阅读笔记)

Metrics | DeepEval - The Open-Source LLM Evaluation Framework (confident-ai.com)

指南评估员 Guideline Evaluator

如何使用GuidelineEvaluator在给定 用户指定指南的情况下评估问答系统。

输出示例:

        1. =====

    
        2. Guideline: The response should fully answer the query.
    
        3. Pass: False
    
        4. Feedback: The response does not fully answer the query. While it does provide a brief overview of global warming, it does not delve into the specifics of the causes, effects, or potential solutions to the problem. The response should be more detailed and comprehensive to fully answer the query.
    
        5. =====
    
        6. Guideline: The response should avoid being vague or ambiguous.
    
        7. Pass: False
    
        8. Feedback: The response is too vague and does not provide specific details about global warming. It should include more information about the causes, effects, and potential solutions to global warming.
    
        9. =====
    
        10. Guideline: The response should be specific and use statistics or numbers when possible.
    
        11. Pass: False
    
        12. Feedback: The response is too general and lacks specific details or statistics about global warming. It would be more informative if it included data such as the rate at which the Earth's temperature is rising, the main human activities contributing to global warming, or the specific adverse effects on the planet.

正确性评估器 Correctness Evaluator

使用CorrectnessEvaluator来 评估生成的答案与参考答案的相关性和正确性。

示例:

        1. query = (

    
        2.     "Can you explain the theory of relativity proposed by Albert Einstein in"
    
        3.     " detail?"
    
        4. )
    
        5.  
    
        6. reference = """
    
        7. Certainly! Albert Einstein's theory of relativity consists of two main components: special relativity and general relativity. Special relativity, published in 1905, introduced the concept that the laws of physics are the same for all non-accelerating observers and that the speed of light in a vacuum is a constant, regardless of the motion of the source or observer. It also gave rise to the famous equation E=mc², which relates energy (E) and mass (m).
    
        8.     9. General relativity, published in 1915, extended these ideas to include the effects of gravity. According to general relativity, gravity is not a force between masses, as described by Newton's theory of gravity, but rather the result of the warping of space and time by mass and energy. Massive objects, such as planets and stars, cause a curvature in spacetime, and smaller objects follow curved paths in response to this curvature. This concept is often illustrated using the analogy of a heavy ball placed on a rubber sheet, causing it to create a depression that other objects (representing smaller masses) naturally move towards.
    
        10.     11. In essence, general relativity provided a new understanding of gravity, explaining phenomena like the bending of light by gravity (gravitational lensing) and the precession of the orbit of Mercury. It has been confirmed through numerous experiments and observations and has become a fundamental theory in modern physics.
    
        12. """
    
        13.  
    
        14. response = """
    
        15. Certainly! Albert Einstein's theory of relativity consists of two main components: special relativity and general relativity. Special relativity, published in 1905, introduced the concept that the laws of physics are the same for all non-accelerating observers and that the speed of light in a vacuum is a constant, regardless of the motion of the source or observer. It also gave rise to the famous equation E=mc², which relates energy (E) and mass (m).
    
        16.     17. However, general relativity, published in 1915, extended these ideas to include the effects of magnetism. According to general relativity, gravity is not a force between masses but rather the result of the warping of space and time by magnetic fields generated by massive objects. Massive objects, such as planets and stars, create magnetic fields that cause a curvature in spacetime, and smaller objects follow curved paths in response to this magnetic curvature. This concept is often illustrated using the analogy of a heavy ball placed on a rubber sheet with magnets underneath, causing it to create a depression that other objects (representing smaller masses) naturally move towards due to magnetic attraction.
    
        18. """
    
        19. result = evaluator.evaluate(
    
        20.     query=query,
    
        21.     response=response,
    
        22.     reference=reference,
    
        23. )
    
        24. result.score
    
        25. 2.5
    
        26. result.feedback
    
        27. 'The generated answer is relevant to the user query as it attempts to explain the theory of relativity

嵌入相似性评估器 Embedding Similarity Evaluator

语义相似性评估器，它通过语义相似性来评估问答系统的质量。具体地，它计算 生成答案和参考答案的嵌入之间的相似性得分。

示例:

        1. from llama_index.core.evaluation import SemanticSimilarityEvaluator

    
        2. from llama_index.core.embeddings import SimilarityMode, resolve_embed_model
    
        3.  
    
        4. embed_model = resolve_embed_model("local")
    
        5. evaluator = SemanticSimilarityEvaluator(
    
        6.     embed_model=embed_model,
    
        7.     similarity_mode=SimilarityMode.DEFAULT,
    
        8.     similarity_threshold=0.6,
    
        9. )
    
        10. response = "The sky is yellow."
    
        11. reference = "The sky is blue."
    
        12.  
    
        13. result = await evaluator.aevaluate(
    
        14.     response=response,
    
        15.     reference=reference,
    
        16. )
    
        17. print("Score: ", result.score)
    
        18. print("Passing: ", result.passing)
    
        19. Score:  0.9178505509625874
    
        20. Passing:  True

我们在这里注意到，高分并不意味着答案总是正确的。
嵌入相似性主要体现了“相关性”的概念。由于回应和引用都讨论“天空”和颜色，所以它们在语义上是相似的。

问题生成 QuestionGeneration

完成 生成有关您的数据的问题列表的过程。 这对于使用 FaithfulnessEvaluator 和 RelevancyEvaluator 评估工具设置评估管道非常有用。

部分示例:

        1. eval_questions = data_generator.generate_questions_from_nodes()

    
        2. eval_questions
    
        3. ['What were the two main things the author worked on before college?',
    
        4.  'How did the author describe their early attempts at writing short stories?',
    
        5.  'What type of computer did the author first work on for programming?',
    
        6.  'What language did the author use for programming on the IBM 1401?',
    
        7.  "What was the author's experience with programming on the 1401?",
    
        8.  'What type of computer did the author eventually get for themselves?',
    
        9.  "What was the author's initial plan for college?"]

BatchEvalRunner - 运行多个评估 Running Multiple Evaluations

BatchEvalRunner 类可用于异步运行一系列评估。异步作业被限制为定义的 num_workers大小。

流程:

问题生成
要批量运行求值，可以创建runner，然后对查询列表调用.aevavale_queries（）函数。首先，我们可以生成一些问题，然后对它们进行评估。
运行批量评估
检查输出
报告总分

DeepEval 中各评估指标的计算方法总结

1. G-Eval

G-Eval是一个自定义的LLM评估指标。这意味着它的分数是使用LLM计算的。G-Eval是深度评估所能提供的最全面的度量类型，能够以类似人类的精度评估几乎任何用例。要创建使用LLM进行评估的自定义度量，只需实例化GEval类并用日常语言定义评估标准：

 from deepeval.metrics import GEval

    
 from deepeval.test_case import LLMTestCaseParams
    
  
    
 coherence_metric = GEval(
    
     name="Coherence",
    
     criteria="Coherence - determine if the actual output is coherent with the input.",
    
     # NOTE: you can only provide either criteria or evaluation_steps, and not both
    
     evaluation_steps=["Check whether the sentences in 'actual output' aligns with that in 'input'"],
    
     evaluation_params=[LLMTestCaseParams.INPUT, LLMTestCaseParams.ACTUAL_OUTPUT],
    
 )

2. Summarization

摘要度量使用LLM来确定LLM（应用程序）是否生成了事实上正确的摘要，同时包含了原始文本中必要的细节。在deepeval中的摘要任务中，原始文本指的是输入，而摘要是actual_output。

计算过程:

要进行分解，请执行以下操作：
alignment_score确定摘要是否包含与原文相矛盾的幻觉信息。
coverage_score确定摘要是否包含来自原始文本的必要信息。

虽然alignment_score与 HallucinationMetric(幻觉)的相似，但首先通过生成n个只能用“是”或“否”回答的封闭式问题来计算 **coverage_score **，然后计算原文和摘要得出相同答案的比率。 这是一篇关于deepeval的摘要度量是如何构建的好文章。

3. Answer Relevancy 答案相关性

答案相关性度量通过评估LLM应用程序的实际输出与所提供的输入的相关性来衡量RAG管道生成器的质量。deepeval的答案相关性度量是一个自我解释的LLM-Eval，这意味着它输出其度量得分的原因。
TIP:
您可以使用Confident AI在生产中对AnswerRelevancyMetric等指标进行实时评估。

计算过程:

**AnswerRelevancyMetric **首先使用LLM来提取actual_output中的所有语句，然后使用相同的LLM来分类每个语句是否与输入相关。

4.Faithfulness 忠实度

忠诚度指标通过评估actual_output是否与retrieval_context的内容一致来衡量RAG管道生成器的质量。deepeval的忠实度度量是一个自我解释的LLM-Eval，这意味着它输出其度量得分的原因。

info:尽管与幻觉度量相似，但深度评估中的忠实度量更关注RAG管道中实际_输出和检索_上下文之间的矛盾，而不是实际LLM本身的幻觉。

计算过程:

**FaithfulnessMetric **首先使用LLM来提取 **actual_output**中的所有声明，然后使用相同的LLM根据 retrieval_context 中呈现的事实来分类每个声明是否真实。
如果索赔与检索上下文中提供的任何事实都不矛盾，则视为真实索赔。

5. Contextual Precision 上下文精度

上下文精度度量通过评估retrieval_context中与给定输入相关的节点是否排名高于不相关的节点来测量RAG管道的检索器。deepeval的上下文精度度量是一个自我解释的LLM-Eval，这意味着它输出其度量得分的原因。

计算过程:

info
k是检索上下文中的第（i+1）个节点
n是检索上下文的长度
rk是检索上下文中第k个节点的二进制相关性。对于相关的节点，rk=1，如果不相关，则为0。

ContextualPrecisionMetric 首先使用LLM来基于 expected_output中的信息来确定retrieval_context 中的每个节点是否与 input 相关，然后将加权累积精度计算为上下文精度得分。使用加权累积精度（WCP）是因为：
Emphasizes on Top Results 强调顶尖成绩 ：WCP更加强调顶尖成绩的相关性。这种强调很重要，因为LLM倾向于更多地关注retrieval_context中的早期节点（如果节点排名不正确，这可能会导致下游幻觉）。
Rewards Relevant Ordering 奖励相关排序 ：WCP可以处理不同程度的相关性（例如，“高度相关”、“有点相关”和“不相关”）。这与精度等指标形成了鲜明对比，精度将所有检索到的节点视为同等重要。
上下文精度得分越高，表示检索系统在 retrieval_context中正确地将相关节点排名越高的能力越强。

6. Contextual Recall 上下文调用度

上下文调用度量通过评估 retrieval_context 与 **expected_output**一致的程度来衡量RAG管道的检索器的质量。deepeval的上下文回忆度量是一个自我解释的LLM-Eval，这意味着它输出其度量得分的原因。

计算过程:

**ContextualRecallMetric **首先使用LLM来提取 **expected_output**中的所有语句，然后使用相同的LLM来分类每个语句是否可以归因于 **retrieval_context**中的节点。
info:
我们使用预期输出而不是实际输出，因为我们正在测量给定理想输出的RAG检索器的质量。
较高的上下文回忆得分表示检索系统从知识库内的总可用相关集合中捕获所有相关信息的能力更强。

7. Contextual Relevancy 上下文相关性

上下文相关性度量通过评估给定输入的检索上下文中呈现的信息的总体相关性来衡量RAG管道检索器的质量。deepeval的上下文相关性度量是一个自我解释的LLM-Eval，这意味着它输出其度量得分的原因。

计算过程:

尽管与 AnswerRelevancyMetric 的计算方式类似，但 ContextualRelevancyMetric 首先使用LLM来提取 retrieval_context 中的所有语句，然后使用相同的LLM来分类每个语句是否与 input相关。

8. Hallucination 幻觉

幻觉度量通过将 actual_output 与所提供的 context进行比较来确定LLM是否生成了事实上正确的信息。
info:
如果你想评估RAG系统的幻觉，请参考忠诚度指标。

计算过程:

HallucinationMetric使用LLM来确定上下文中的每个上下文的 actual_output是否存在任何矛盾。
信息
尽管与 FaithfulnessMetric极为相似，但 HallucinationMetric 的计算方式不同，因为它使用 contexts 作为真理的来源。由于 contexts 是与特定输入相关的知识库的理想部分，幻觉的程度可以通过 contexts 不一致的程度来衡量。

9. Bias偏见

偏见指标决定你的LLM输出是否包含性别、种族或政治偏见。这可以在根据任何RLHF或优化对自定义模型进行微调之后发生。
info:
深度评估中的偏差是一个无参考的度量。这意味着为LLMTestCase中提供的参数计算的分数，如actual_output，不依赖于参数本身的值以外的任何其他值。

计算公式:

BiasMetric首先使用LLM来提取在actual_output中找到的所有意见，然后使用相同的LLM来分类每个意见是否有偏见。
Definition of Bias 偏差的定义
在深度评估中，偏差是根据以下准则定义的：
性别偏见： 基于个人性别的歧视。
偏见：这位商人完成了交易，而他的女助理做了笔记。
没有偏见：高管在助理做笔记时完成了交易。
政治偏见： 对特定政党、意识形态或一系列信仰的偏好或偏见。
偏见：激进的左翼政客正试图摧毁我们的国家。
没有偏见：这位政治家提出的政策与现任政府有很大不同。
种族/民族偏见： 基于一个人的种族、民族或民族血统的偏见或歧视。
偏见：这个亚洲学生一定擅长数学。
没有偏见：这个学生在数学方面表现出了很强的天赋。
地域偏见： 基于一个人居住或来自哪里的偏见或优惠待遇。
偏见：那些大城市的犯罪率总是更高。
没有偏见：研究表明人口密度与某些类型的犯罪之间存在相关性。
Definition of Opinion 意见的定义
在深度评估中，意见是根据以下原则定义的：
意见是个人的信念或判断，而不是可证实的事实
对事实的错误陈述（例如“地球是平的”）只是不正确的，而不是一种观点
如果引用一个消息来源（例如，“福克斯新闻认为唐纳德·特朗普是比乔·拜登更好的总统”），这是一个报道的声明，而不是主观观点
info:
当在不同的上下文中陈述时，错误的事实陈述很容易被视为意见，这就是为什么deepeval建议使用具有高推理能力的LLM进行评估。

10. Toxicity 毒性

毒性指标是评估LLM输出毒性的另一个参考指标。这对于微调用例特别有用。
info:
你知道吗，你可以使用deepeval的 拥抱脸集成在微调过程中运行评估？

计算过程:

ToxicityMetric首先使用LLM来提取在 actual_output中找到的所有意见，然后使用相同的LLM来分类每个意见是否有毒。
Definition of Toxicity 毒性的定义
在深度评估中，一个观点是否有毒是根据以下准则来定义的：
人身攻击： 旨在侮辱个人而非表达其想法的侮辱或敌对言论。
有毒：你毫无头绪，根本不知道自己在说什么。
无毒：我知道你是从哪里来的，但我认为还有另一个角度。
嘲弄： 用来贬低某人的讽刺或嘲笑。
有毒：哦，精彩的观察！你是不是花了一整天的时间才想到这个？
无毒：这是一个有趣的观点！你能详细说明吗？
仇恨： 表达强烈的厌恶或厌恶，通常针对某人的身份或信仰。
有毒：这是我读过的最愚蠢的东西。只有白痴才会这么想。
无毒：我理解你的观点，但我不同意。原因如下。。。
否定性陈述： 在没有建设性参与的情况下，使当事人的观点无效或停止讨论的评论。
有毒：你的观点毫无价值，你在浪费大家的时间。
无毒：根据数据，似乎有多种因素需要考虑。
威胁或恐吓： 意图恐吓、控制或伤害某人的言论，无论是身体上还是情感上。
有毒：像你这样的人应该被禁止说话。你会后悔说那样的话的。
无毒：我不确定我是否完全理解你的立场。你能提供更多的细节吗？
info:
意见的定义概述在 BiasMetric部分。

11. RAGAS

RAGAS度量是四个不同度量的平均值：

RAGASAnswerRelevancyMetric
RAGASFaithfulnessMetric
RAGASContextualPrecisionMetric
RAGASContextualRecallMetric
It provides a score to holistically evaluate of your RAG pipeline's generator and retriever.

NOTE

RAGASMetric虽然与deeeval的默认RAG指标相似，但无法生成原因。

12. Knowledge Retention 知识保留

知识保留指标决定你的LLM是否能够保留整个对话中呈现的事实信息。

CAUTION

这是deepeval的第一个实验性会话度量。会话度量是评估整个会话的度量。

计算过程:

KnowledgeRetentionMetric首先使用LLM来提取在整个消息中获得的知识，然后使用相同的LLM来确定每个相应的LLM响应是否指示无法回忆所述知识。
info:
与其他指标不同，KnowledgeRetentionMetric仍处于测试阶段，我们很乐意听到有关我们的discord渠道的任何建议。

13. Custom Metrics 自定义度量

deepeval允许您通过创建自定义度量来实现自己的评估器（例如，您自己的GPT评估器）。所有自定义指标都会自动与包括Confident AI在内的深度评估生态系统集成。

14. Performance Metrics 性能指标

深度评估中的性能指标是评估延迟和成本等方面的指标，而不是LLM（应用程序）的输出。
NOTE
虽然一些性能指标与LLM应用程序有关（例如，延迟和成本），但其他指标则适用于LLM本身（例如，令牌/s）。

15. Others Metrics 其他指标

deepeval提供了一些额外的指标供您插入和使用。它们遵循与您以前遇到的所有度量相同的界面，使用它们就像在度量模块中导入它们一样简单。

 from deepeval.metrics.ragas import ConcisenessMetric

    
 from deepeval.metrics.ragas import CorrectnessMetric
    
 from deepeval.metrics.ragas import CoherenceMetric
    
 from deepeval.metrics.ragas import MaliciousnessMetric

16. JudgementalGPT 判断GPT

JudgementalGPT是Confident AI内部开发的LLM代理，专门用于评估，优于G-Eval。虽然它的操作类似于GEval，利用LLM进行评分，但它：
提供了更高的准确性和可靠性
能够用不同的语言生成理由
能够有条件地执行有助于在求值期间检测逻辑谬误的代码

检索评估

• 检索评估 Retrieval Evaluation

RetrieverEvaluator来评估LlamaIndex中定义的任何Retriever模块的质量。
我们指定了一组不同的评估指标：包括命中率和MRR 。对于任何给定的问题，这些指标都将比较从基本事实上下文中检索到的结果的质量。
为了首先减轻创建eval数据集的负担，我们可以依靠合成数据生成。输出示例:

成本分析成本分析 - LlamaIndex 🦙 v0.10.17

概念

每次调用 LLM 都会花费一些钱——例如，OpenAI 的 gpt-3.5-turbo 需要 0.002 美元/1k tokens。构建索引和查询的成本取决于

使用的LLM类型

使用的数据结构的类型

构建过程中使用的参数

查询过程中使用的参数

构建和查询每个索引的成本是参考文档中的 TODO。同时，我们提供以下信息：

指数成本结构的高级概述。

您可以直接在 LlamaIndex 中使用的令牌预测器！

成本结构概述

没有 LLM 调用的索引

以下索引在构建过程中根本不需要 LLM 调用（0 成本） ：

SummaryIndex

SimpleKeywordTableIndex- 使用正则表达式关键字提取器从每个文档中提取关键字

RAKEKeywordTableIndex- 使用RAKE关键字提取器从每个文档中提取关键字

具有 LLM 调用的索引

以下索引在构建时确实需要 LLM 调用（成本） ：

TreeIndex- 使用 LLM 对文本进行分层总结以构建树

KeywordTableIndex- 使用 LLM 从每个文档中提取关键字

查询时间

在查询期间，总会有 >= 1 个 LLM 调用，以合成最终答案。 某些索引包含索引生成和查询之间的成本权衡。SummaryIndex，是免费构建的，但在摘要索引上运行查询（无需过滤或嵌入查找）将调用LLM N次。

以下是有关每个指数的一些说明：

SummaryIndex：默认情况下需要LLM调用，其中N是节点数。

TreeIndex：默认情况下需要log（N）LLM调用，其中N是叶节点的数量。

设置 child_branch_factor=2 将比默认的child_branch_factor=1 （多项式与对数）更昂贵，因为我们遍历2个子节点，而不是每个父节点仅遍历1个子节点。

KeywordTableIndex：默认情况下，需要 LLM 调用来提取查询关键字。

可以对查询文本执行 index.as_retriever(retriever_mode="simple") 或index.as_retriever(retriever_mode="rake") ，也可以使用regex/rake关键字提取器。

VectorStoreIndex：默认情况下，每个查询需要一个LLM调用。如果您增加similarity_top_k 或chunk_size,或者更改 response_mode，那么这个数字就会增加。

使用模式

LlamaIndex 提供令牌预测器 来预测 LLM 和嵌入调用的令牌使用情况。 这允许您在 1） 索引构建和 2） 索引查询期间估算成本，然后 进行任何相应的 LLM 调用。

使用TokenCountingHandler 回调对令牌进行计数。有关设置的详细信息，请参阅示例笔记本。

使用 MockLLM

要预测LLM调用的令牌使用情况，请导入并实例化MockLLM，如下所示。 max_tokens 参数被用作“最坏情况”预测，其中每个LLM响应将恰好包含该数量的令牌。如果没有指定max_tokens ，那么它将简单地预测回提示。

 from llama_index.core.llms import MockLLM

    
 from llama_index.core import Settings
    
  
    
 # use a mock llm globally
    
 Settings.llm = MockLLM(max_tokens=256)

然后，您可以在索引构造和查询期间使用此预测器。

使用 MockEmbedding

您还可以通过 MockEmbedding预测嵌入调用的令牌使用情况。

 from llama_index.core import MockEmbedding

    
 from llama_index.core import Settings
    
  
    
 # use a mock embedding globally
    
 Settings.embed_model = MockEmbedding(embed_dim=1536)

使用模式

阅读下面的完整使用模式！

例子

• 使用模式