综述2021_Explainable Artificial Intelligence for Tabular Data: A Survey

()

// An highlighted block
var foo = 'bar';

## 论文

链接: [paper]()

### 3puss3

#### 3.1 存在什么问题

// A code block
var foo = 'bar';

#### 3.2 有什么方法解决问题

// A code block
var foo = 'bar';

### 1puss1

#### 1.1标题title

表格数据的可解释人工智能：一项调查

#### 1.2摘要abs

摘要 机器学习技术由于在学术界和工业界各个学科的广泛使用而越来越受到关注。 尽管取得了巨大的成功，但许多此类技术都遇到了“黑匣子”问题，即数据分析师无法解释为什么此类技术会做出某些决策的情况。 这个问题激发了人们对可解释人工智能（XAI）的兴趣，它指的是人类可以轻松解释的技术。 不幸的是，其中许多技术并不适合表格数据，考虑到表格数据在金融、医疗保健和刑事司法等关键应用中的重要性和广泛使用，这是令人惊讶的。 同样令人惊讶的是，尽管有关 XAI 的文献数量巨大，但迄今为止仍然没有关注表格数据的调查文章。 因此，尽管现有的调查文章涵盖了广泛的 XAI 技术，但对于处理表格数据的研究人员来说，浏览所有这些调查并提取适合其分析的技术仍然具有挑战性。 我们的文章通过提供与表格数据相关的 XAI 技术的全面且最新的调查来填补这一空白。 此外，我们对调查中涵盖的参考文献进行了分类，表明所解释的模型的类型、用于提供解释的方法以及所解决的 XAI 问题。 我们的文章是第一篇为研究人员提供地图的文章，帮助他们在表格数据的背景下浏览 XAI 文献。

#### 1.3结论conclusion

#### 1.4研究背景intro

最近人们对机器学习 (ML) 和人工智能 (AI) 的兴趣激增，催生了一系列旨在在各个领域做出决策的模型，包括医疗保健 [1]–[3]、金融系统 [4]–[ 7] 和刑事司法 [8]-[10]，仅举几例。 在评估替代模型时，似乎很自然地会选择更准确的模型。 然而，对准确性的痴迷导致了意想不到的后果，因为开发人员经常通过使模型变得越来越复杂和难以理解来努力以牺牲可解释性为代价来获得更高的准确性[11]。 当模型被赋予做出影响人们福祉的关键决策的权力时，缺乏可解释性就成为一个严重的问题。 这些担忧在欧盟的表态中得到体现最近的《通用数据保护条例》保证了解释权，即理解对个人产生负面影响的算法决策背后的基本原理的权利[12]。 为了解决这些问题，人们提出了许多技术来使人工智能的决策过程更容易被人类理解。 这些“可解释的人工智能”技术（通常缩写为 XAI）是本次调查的主要焦点。  
在深入研究 XAI 文献之前，让我们先描述一下本文中将使用的关键术语。 首先，区分解释interpretation和解释explanation这两个术语很重要，因为它们经常互换使用，而实际上它们具有不同的含义。 特别是，前者涉及使用人类可理解的术语表达抽象概念，而后者涉及指出对特定实例的结果做出贡献的特征[13]。 诚然，这些定义是非正式的，因为没有正式的定义迄今为止的 XAI 文献 [14]。 文献中经常提到的另一个术语是透明度。 根据 Lipton 的分类法 [15]，模型透明度分为三个概念：  
• 可模拟性，反映用户对模型整体的思考程度；  
• 可分解性，反映每个输入、参数、计算能够直观解释的程度；  
• 算法透明度，反映学习算法内部运作的可理解程度。  
例如，基于规则的模型 [16] 被认为是透明的，因为它们使用一系列易于理解的 if-then 规则，无需任何进一步的解释。 与透明模型不同，黑盒模型不能以人类可以理解的方式解释其预测[17]。 黑盒模型的例子包括人工神经网络[18]和梯度提升[19]。 尽管黑盒模型很难被人类解释，但与透明模型相比，它们往往具有更高的预测精度。 准确性和透明度之间的这种权衡引发了黑盒解释问题，其中涉及解释黑盒模型决策背后的基本原理。 通过提供这样的解释，人们可以继续使用高精度的黑盒模型而不牺牲透明度。 根据吉多蒂等人的说法。 [20]，黑盒解释问题可以分为以下几类：  
• 模型解释问题，需要解释黑盒模型背后的底层逻辑。 这通常是通过使用更透明和可解释的替代模型来近似黑盒行为来完成的。  
• 模型检查问题，需要提供底层模型或其结果的某些属性的视觉或文本解释，目的是了解输入更改时黑盒的内部行为。  
• 结果解释问题，需要通过解释结果是如何生成的或解释如何使用反事实分析来改变结果，从而在给定感兴趣的实例的情况下解释模型的结果。  
上述每个问题都可以使用不同类型的技术来解决，这些技术可以分类如下：  
• 特定于模型的技术，利用其旨在解释的模型的参数和特征[21]。 此类技术的力量源于它们访问模型内​​部（例如权重或结构）的能力，但这种能力是有代价的，因为它们不能轻易推广到其他模型。  
• 与模型无关的技术，原则上可以在任何机器学习模型上使用，以提供事后解释，即在之后生成的解释该模型已经过训练[22]。 这些技术的缺点是它们无法利用模型内部的优势，因为它们只能分析输入输出对。  
许多 XAI 技术 [43]-[46]，无论它们是特定于模型的还是与模型无关的，都不适合表格数据，即所有记录共享相同特征的数据，并且每个此类特征要么是数字，要么是数字， 分类或布尔值。 重要的是，为图像或文本定制的技术不能轻易应用于表格数据[47]。 这是因为表格数据具有独特的特征，例如特征之间的潜在依赖性和相关性、连续特征和分类特征的存在以及数据集的时间方面。 图像和文本数据集中缺少这些特征，因为它们主要由二维空间中的单词和像素组成。 因此，清楚地区分与表格数据兼容的技术非常重要。 受这一观察的启发，我们的文章对与表格数据相关的 XAI 技术进行了全面且最新的调查，并讨论了在此背景下解决 XAI 问题的各种方向。 我们特别注意确保以易于理解和清晰的方式呈现不同技术背后的直觉，并附有插图示例。  
因此，读者不被认为是机器学习和人工智能方面的专家。 为了帮助读者浏览这些文献，我们提供了一个地图，对我们的调查中涵盖的参考文献进行了分类，请参见图 1。这里，列表示正在解释的模型的类型，行表示表示用于提供解释的方法，颜色表示正在解决的黑盒解释问题。 此外，行根据所提供的解释的形式进行分组。 这样，读者可以轻松识别感兴趣的参考文献。  
图 2 概述了本次调查。 特别是，对于每个黑盒解释问题（无论是模型解释、模型检查还是结果解释）以及文献中介绍的每种类型的技术（无论是模型特定的还是模型不可知的），该图指定了相应的 部分以及其中涵盖的参考文献。  
![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-04/bSoAXaLxpBYtKHIDqlTy7Ev8cQPj.png)

二. XAI 用于结果解释  
在本节中，我们将回顾为解决结果解释问题而提出的 XAI 技术。 回想一下，这个问题涉及解释模型针对任何给定实例的决策背后的基本原理，而不必解释底层模型的逻辑。 该文献中的大多数技术与模型无关。 相比之下，只有少数技术是特定于模型的，其中一些技术被用作与模型无关的对应技术的基础。 鉴于这一观察，我们决定展示这两种类别（即与模型无关的和特定于模型的）位于同一部分（第 II-A 节）中，而不是将它们分为两个不同的小节。 II-B 节提出了反事实解释，它们是基于示例的解释，指定如何修改实例以使其分类变为另一个所需的类别。 本节分为两小节：第 2 节介绍特定于模型的技术，而第 3 节介绍与模型无关的技术。

A. 解释如何生成结果 表 1 总结了本节将讨论的技术。 Poulin 等人提出的ExplainD 框架是构建模型无关技术来解释黑盒模型结果的首批尝试之一。 [23]。 它使用加性模型的概念来权衡输入特征在分类器决策中的重要性。 加法模型是多元回归的推广，其中使用非参数函数代替每个变量的单个系数。 在加性模型中，结果可以表示为自变量的加权和，因此结果的部分由一个自变量不依赖于任何其他自变量的值。 ExplainD 是一个图形解释框架，提供预测分类的可视化（图 3A）、潜在决策的相对强度以及每个特征对这些决策的贡献（图 3B）、通过改变进行“假设分析” 特征值（图 3C）、整个分类器上下文中的特征证据（图 3D）以及访问支持特征贡献证据的数据的可能性（图 3E）。 与之前提出的用于解释特定模型决策的技术（例如信念网络 [48] 或朴素贝叶斯分类器 [49]、[50]）相比，ExplainD 为更广泛的附加模型提供解释，还涵盖逻辑回归和支持向量机（ 支持向量机）。 Robnik 和 Kononenko [51] 提出了ExplainD 的扩展，它不仅涵盖了加法分类器，还涵盖了概率模型。  
ExplainD 开发十年后，Ribeiro 等人提出了一种突破性的模型不可知技术。 [24]称为 LIME，代表局部可解释的与模型无关的解释。 该技术能够解释任何分类器的预测，其工作原理如下。 局部代理模型（可解释并用于解释 ML 模型的各个预测的模型）经过训练以近似底层模型的预测。 目标是了解机器学习模型为何做出特定预测。 这是通过从原始数据及其 ML 模型的相应预测中采样，从感兴趣实例周围的扰动数据点创建新数据集来实现的。 在这个新数据集上，LIME 训练一个本地代理模型，其中每个采样实例都根据其与感兴趣实例的接近程度进行加权。 图 4 展示了一个示例。  
LIME 的优点之一是其计算复杂性允许在合理的时间内在数千个实例上运行。 因此，如果它被用来解释实例的代表性样本，那么这些解释将构成所考虑的模型的全局解释。 另一方面，LIME 有许多限制。 首先，由于生成的解释是基于随机扰动，因此结果可能缺乏稳定性[52]。 其次，LIME对数据集维度很敏感，当用于相对大量的特征（例如100个或更多）时，局部解释无法区分相关和不相关的特征，这可能会导致性能不佳[ 53]，[54]。 最近基于与 LIME 中使用的类似的想法提出了许多技术，其中一些技术旨在解决上述限制。 尤其：  
• Shankaranarayana 和 Runje [28] 在 LIME 框架中使用自动编码器作为权重函数，并凭经验证明这提高了 LIME 的稳定性。  
• 扎法尔和可汗。 [26]提出了另一种提高 LIME 稳定性的技术，该技术使用分层聚类而不是随机扰动对训练数据进行分组，然后选择与所解释的实例最相关的聚类。  
• 维萨尼等人。 [53]、[54]提出了两个稳定性指标，这两个指标都是通过重复调用 LIME 来计算的。 虽然这些指数不能解决 LIME 的稳定性问题，但它们可以帮助用户了解所获得结果中任何潜在的不稳定性。  
• Elshawi 等人。 [27] 根据 (i) 线性模型中的实例对要解释的实例的影响，以及 (ii) 其距离来权衡排列数据集中的每个实例正在解释的实例； 这样，所得系数就可以反映特征排名。  
• 帕尼古蒂等人。 [29]使用排列后的数据集为健康记录数据集中的每个患者训练决策树，然后从决策树中提取基于规则的解释。 这确保了结果解释与顺序、多标记、基于本体的数据兼容。  
![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-04/kI6FTebLwUnxYhiNXgWmMCrcHoED.png)  
图 3.ExplainD 框架的图示。 该插图使用阻塞性冠状动脉疾病 (CAD) 的诊断示例描述了ExplainD 框架背后的直觉。 在此示例中，医生使用加法分类器来预测 35 岁男性是否患有 CAD。 A. 分类器的判定是该人没有 CAD，因为 CAD 的概率小于没有 CAD 的概率。 B. 一张插图显示没有 CAD 的证据如何比患有 CAD 的证据更强（看看标有“-”的矩形如何比标有“+”的矩形长）。 每个证据由对应不同特征的多个附加成分组成。 C. 决策推测，显示如果特征值不同，分类将如何变化。 D. 根据特征对分类器决策的影响对特征进行排序。 E. 为了验证分类器的决策是否符合期望，用户可以审核决策标签与任何给定特征之间的关系。 例如，如果特征是“糖尿病”，则用户可以按标签（CAD 和无 CAD）和特征值（糖尿病和非糖尿病）对训练数据进行切片，并检查每个象限中的数据摘要以了解如何 分类器确定了糖尿病和 CAD 之间的关系。
![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-04/L3vxEF10THoQiJ7X6UwajKleDzbc.png)  
图 4. LIME 和锚的图示。 该图描述了两种替代技术（即 LIME 和 Anchors）背后的直觉，它们针对具有两个特征的样本数据集。  
A. 训练数据集，其中每个示例都有两个特征：x1 和 x2。  
B. 数据被输入到 ML 模型，例如神经网络。  
C. ML 模型产生决策边界，将数据空间划分为数据被分类为“−”（以粉色突出显示）的区域和数据被分类为“+”（以蓝色突出显示）的其他区域 ）。 该图还突出显示了需要解释的实例； 查看数据空间中标记为“-”的数据点。  
D. 数据和模型的预测以及需要解释的实例一起输入 LIME。 然后，LIME 从数据集中采样实例并在本地运行线性模型，为更接近感兴趣实例的点分配更高的权重。 该模型的结果是一个决策边界，如图中虚线所示，LIME 使用该边界来确定每个特征对该邻域的分类的重要性。  
E. 与 (D) 相同，但用于锚而不是 LIME。 特别是，该技术确定了定义“锚点”的特征值范围，即给定实例周围的区域，其中分类与实例相匹配； 请参阅虚线矩形。 该技术的输出是定义该区域的 if-then 规则。 例如，在我们的插图中，输出将是以下规则：如果 (1≤ x1 ≤ 2) 且 (1≤ x2 ≤ 3)，则将数据点分类为“−”。  
F. 向分析师提供实例级解释，说明不同特征如何影响模型的预测，并相应地做出最终决策。

在后续论文中，LIME 的开发人员强调了模型不可知技术的重要性和挑战 [55]，并提出了 LIME 的替代方案，能够通过“if-​​then”规则解释模型结果 [56]，[ 57]。 这些技术为随后开发的 Anchors [25] 奠定了基础，Anchors 是一种基于随机扰动的技术，就像 LIME 一样，但完全关注所解释实例的邻域。 具体来说，它使用强化学习和图搜索来构造一个“锚点”，即分类与实例匹配的邻域区域； 该区域由每个特征的一系列值定义。 然后，这些范围被解释为 if-then 规则，如图 4E 所示。 由此产生的 if-then 规则不仅解释了所考虑的实例，还解释了落在锚点中的每个实例。 锚点的局限性包括变得过于具体的风险和获得潜在冲突的锚点的风险。  
另一种与模型无关的结果解释技术是 LOCO（Leave One Covariate Out）[32]，它通过重复运行模型来对实例特征进行评分，每次是时候忽略一项功能了。 在此过程结束时，将计算每个功能的绝对影响，并且得分最高的功能被视为对该实例最重要。 其他与模型无关的技术使用蒙特卡罗采样[33]、特征重要性排序[34]、遗传算法[31]以及与随机森林相结合的局部线性建模[30]。  
接下来，我们解释一种完全不同的设计范式，它基于合作博弈论中一个重要的解决方案概念，称为 Shapley 值 [58]。 在解释基于 Shapley 值的 XAI 技术之前，我们首先解释一下它是如何计算的。 通常，联盟博弈由一组玩家和一个特征函数组成，该函数指定每个可能联盟（即玩家的子集）的“价值”。 这一价值旨在反映联盟的价值或其结果的质量。 大联盟是由所有博弈者组成的联盟，合作博弈论的基本研究问题之一就是如何在博弈者之间公平分配这一联盟的价值。 为此目的设计的规范解决方案概念是沙普利值，其构建块是边际贡献。 具体来说，对于任何参与者 pi 和任何联盟 Cj，pi 对 Cj 的边际贡献是 pi 加入 Cj 时所产生的价值差。 沙普利值建立在边际贡献的理念之上，同时考虑到参与者加入大联盟的所有可能序列。 例如，给定四个玩家 {p1, p2, p3, p4}，可能的加入顺序之一是：（p2，p4，p1，p3），这意味着p2是第一个加入大联盟的，然后是p4，然后是p1，最后是p3。 另一种可能的连接顺序是 (p1, p3, p4, p2)，依此类推。 现在，当计算 p4 的 Shapley 值时，我们会考虑所有可能的加入顺序，并且对于每个这样的顺序，我们计算 p4 对之前加入的玩家联盟的边际贡献。 例如，给定 (p2, p4, p1, p3)，我们计算 p4 对联盟 {p2} 的边际贡献，给定 (p1, p3, p4, p2)，我们计算 p4 对联盟的边际贡献 {p1，p3}，依此类推。 p4 的 Shapley 值就是它的平均边际贡献，涵盖所有可能的连接顺序。 图 5 展示了 3 名玩家的示例。计算 Shapley 值所需的计算量随着涉及的玩家数量呈指数增长。 具体来说，给定 n 个玩家，有 n! 可能的加盟订单要考虑。 尽管存在替代公式，可以在 O(2n) 而不是 O(n!) 时间内计算 Shapley 值，但考虑到 n 很大，计算仍然令人望而却步。 幸运的是，可以通过从可能的连接顺序的空间中采样来近似沙普利值，并且可以在所得估计的基础上建立界限[59]，从而可以在线性时间内近似沙普利值。  
![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-04/2O6loEjNs3c9iTAzdHqIYSymRZK5.png)  
图 5. Shapley 值的图示。 在联盟博弈中，每个玩家子集都称为“联盟”，游戏为每个联盟指定一个值，表明其结果的质量。 Shapley 值是 Lloyd Shapley [58] 提出的一个公式，用于公平衡量每个玩家对所有玩家组成的联盟的贡献。 这是通过考虑玩家所有可能的加入顺序来完成的。 鉴于我们示例中的三个玩家，即红、蓝和绿，一种可能的加入顺序是红首先加入，然后是蓝，然后是绿（参见左上角）。 另一种可能的加入顺序是绿色首先加入，然后是红色，然后是蓝色（右上角）。 对于每个加入顺序，沙普利值计算每个玩家的“边际贡献”，这是该玩家加入联盟时引起的价值差异。 例如，给定左上角的连接顺序，红色、蓝色和绿色的边际贡献分别为 10、40 和 50。 然后，每个参与者的沙普利值被定义为其平均边际贡献，涵盖所有加入顺序（参见图的底行）。

解释了如何计算 Shapley 值后，我们现在准备展示基于它的 XAI 文献。 具体来说，在该文献中，联盟博弈中的玩家对应于不同的特征，联盟值对应于使用不同特征子集（或“联盟”）时获得的预测质量。 将特征建模为联盟博弈的参与者使我们能够利用数十年的合作博弈论研究，使我们能够利用其完善的理论基础和丰富的解决方案概念库。 沙普利值（Shapley value）是一种特别适合用来衡量特征质量的解决方案概念，因为它被认为是量化玩家贡献的黄金标准，同时考虑到所有因素。其他玩家在与该玩家互动时做出的贡献。 此外，沙普利值可以在线性时间内近似，这与合作博弈论中的绝大多数解概念不同，后者的计算通常很棘手。  
![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-04/emzDw019ViqFT84EYhQaUrly6Xo3.png)  
图 6. 神经网络和反向传播的图示。 节点代表神经元，它们属于输入层、输出层或中间的任何隐藏层。 A. 人工神经网络 (ANN) 的图示。 B. 深度神经网络 (DNN) 的图示，其中隐藏层的数量比典型的 ANN 中的隐藏层数量大得多。 C. 隐藏层神经元内部运作的图示。 D. 前向传播是指 ANN 或 DNN 内的典型流程，从输入层开始，经过隐藏层，最后到输出层。 在反向传播中，对于每个输出节点，相对于指向该节点的边的权重计算预测误差的导数。 然后，结果用于执行类似的计算，但对于最后一层之前的层，然后对于它之前的层，等等，一直回到第一层。 最后，从权重中减去梯度值以最小化误差。

据我们所知，使用 Shapley 值来衡量特征贡献的方法首先由 Lipovetsky 和 ​​Conklin 提出[60]。 特别是，作者使用 Shapley 值来评估线性回归模型的系数以及存在多重共线性时不同特征的相对有用性。 Shapley 值随后被用来深入了解人工神经网络的内部工作原理 [61] 以及回归和分类模型中的特征选择 [62]。 Strumbelj 和 Kononenko [63] 是第一个使用 Shapley 值进行结果解释的人。 具体来说，作者计算了 Shapley 值，以解释输入特征独立性假设下分类模型的结果。 在他们的后续论文 [35] 中，作者没有计算 Shapley，而是使用基于采样的近似来加速计算，并允许在分析中考虑更多的特征。 作者进一步扩展了他们的工作，提出了一种基于敏感性分析的方法来考虑潜在的特征交互[36]，并提出了一种最小化给定数量样本的近似误差的算法。  
Lundberg 和 Lee 提出了另一个基于 Shapley 值的更新框架 [37]。 他们的框架称为 SHAP（代表 Shapley Additive ExPlanations），旨在统一合作博弈论、机器学习和 XAI 交叉领域的现有方法。 具体来说，作者提出了两个不同版本的 SHAP：  
• Kernel SHAP：一个与模型无关的结果解释框架，它将 LIME [24] 与沙普利值。 回想一下，LIME 根据感兴趣实例周围的扰动数据点创建一个新数据集，然后在此数据集上训练本地代理模型，其中每个采样实例根据其与感兴趣实例的接近程度进行加权。 Kernel SHAP 与 LIME 类似，它也训练局部代理模型，但不同之处在于该模型仅限于加权线性回归，并且训练是在不同的数据集上完成的。 更具体地说，内核 SHAP 将感兴趣的实例（即需要解释的实例）视为联盟博弈，其中玩家是该实例的特征。 然后，为了量化每个特征对该实例的模型预测的贡献，Kernel SHAP 对该游戏中的联盟进行采样，并为每个联盟运行代理模型。 该过程显示为近似感兴趣实例的每个特征的 Shapley 值，并且这些值构成了所需的解释，因为它们反映了每个特征对感兴趣实例的结果的贡献。 内核 SHAP 的局限性之一是它忽略了功能依赖性。 另一个限制是它的计算成本很高。 因此，虽然它可以在合理的时间内解释单个实例，但无法解释大量实例。 反过来，这使得 Kernel SHAP 不适合全局解释模型 [22]，因为此类解释通常是从解释大量代表性实例中得出的。  
• Deep SHAP：特定于模型的框架，旨在通过将 Shapley 值与 DeepLIFT 相结合来解释深度学习模型的结果[38]、[64]。 后者是一种特定于模型的技术，可为神经网络提供结果解释。 这些解释采用分数的形式反映输入特征的重要性。 分数是使用反向传播（机器学习中广泛使用的算法）生成的； 参见图 6 的说明。 进一步来说通过首先将值归因于输入特征来计算分数，表示将输入设置为参考值而不是其原始值的效果； 该参考值是由用户根据特定领域的知识凭经验选择的。 然后通过神经网络反向传播生成分数。 Deep SHAP 使用与 DeepLIFT 相同的思想，但它不是为每个输入特征分配单个参考值，而是借用合作博弈论的思想，将每个输入特征视为联盟博弈中的玩家，并使用 Shapley 近似参考值 价值

Lundberg 等人扩展了他们的工作。 [39]、[65]提出了直接测量局部特征交互效果的SHA交互值。 他们还提出了 Tree SHAP，它是 SHAP 的变体，用于基于树的机器学习模型，例如随机森林、决策树和梯度提升树。 更具体地说，Tree SHAP 的工作原理是将特征表示为联盟博弈中的玩家，并根据条件期望分配联盟值，同时考虑树结构。 然后近似沙普利值以确定特征对感兴趣实例的重要性。 Tree SHAP 比 Kernel SHAP 更快，不仅提供对模型结果的见解，而且还提供对整个模型的见解； 详细信息请参见第 IV-A 节。  
其他特定于模型的结果解释技术包括 Mollas 等人提出的技术。 [42]，它使用无监督学习技术和相似性度量来解释随机森林的个体结果。 Haufe 等人提出了另一种技术。 [41]，它将多元分类器方面的非线性模型转换为可解释的线性模型。 最后，我们提到 Saabas [40] 提出的技术，它通过遵循决策路径并将模型预期结果的变化归因于沿该路径的每个特征来解释决策树的预测。 然而，这是使用条件期望来完成的，条件期望仅考虑特征的单个顺序，而不是像 Tree SHAP 的情况那样对所有可能的连接顺序取平均值。

B. 解释如何改变结果 另一种类型的结果解释技术是基于示例的解释。  
在这种情况下，最广泛研究的主题是反事实解释，这是一种通过从数据集中选择特定实例来解释机器学习模型的行为或底层数据分布的技术。 这种结果解释技术与其他结果解释技术之间的区别在于，它不是提供机器学习决策中重要特征的摘要，而是提供“反事实解释”，识别需要更改的特征，以便 获得一定的结果。 反事实解释通常是通过制定和解决优化问题来获得的，其目标是就是最小化损失函数。 现有的获取反事实的技术之间的差异在于优化方法和所使用的损失函数[21]。 与其他类型的 XAI 技术类似，这些类型的解释可以与模型无关，也可以与模型相关  
反事实解释已广泛应用于各个学科，包括社会科学[14]、数据挖掘[72]、哲学[73]和心理学[74]。 Verma 等人最近发表的一篇评论文章。 [75]总结了机器学习中一些最新的反事实解释技术，但本文并不关注表格数据。 因此，在本节中，我们为读者提供了与表格数据兼容的反事实解释的概述。 特别是，第 II-B1 节介绍了特定于模型的技术，而第 II-B2 节介绍了与模型无关的技术。

1）模型特定的反事实解释  
我们从 Wachter 等人的工作开始。 [66]，他提出了“无条件反事实解释”，这是一种用于可微模型的技术，即可以计算损失函数梯度的模型，例如神经网络。 生成反事实解释被表述为优化问题。 该问题的目标是最小化反事实与原始数据点之间的距离，但受到分类器将反事实与所需标签相关联的约束。 这种方法的缺点是当类别数量很大时，它不能很好地处理类别特征。 作者建议对分类特征的特征值的每个组合单独运行该方法，尽管要考虑的组合数量呈指数增长，这对于大量类别来说是不切实际的。  
![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-04/9UjifFmdIZMkYp1PCaorQE4tA5eO.png)

Mothilal 等人扩展了这项工作。 [67]构建了一个优化问题，该问题考虑了一组不同的反事实示例，而不是单个示例。 这样，用户可以选择更可行的反事实，以实现期望的结果。 这种方法称为 DiCE（多样化反事实解释）。 解决优化问题需要考虑多样性和邻近性之间的权衡，以及连续特征和分类特征之间的权衡。 作者使用梯度下降来解决优化问题。 此外，它们还提供了用于评估任何反事实示例集的定量评估指标。  
乌斯通等人。 [68]建议使用追索权来解释黑盒模型的结果。 这里，追索权被定义为一个人通过改变可操作的输入特征（即可以由人控制的特征）从固定模型获得期望结果的能力。 可操作特征的示例包括与收入或贷款数量相对应的特征。 相比之下，与年龄或种族相对应的特征则不然。 作者认为，在提取反事实时，只应考虑可操作的特征。 然后作者制定了一个离散优化问题，它搜索特定人可以做出的可能更改，以获得所需的分类结果。 这个问题通过将其表示为整数规划来解决。  
乌斯通等人。 [68]建议使用追索权来解释黑盒模型的结果。 这里，追索权被定义为一个人通过改变可操作的输入特征（即可以由人控制的特征）从固定模型获得期望结果的能力。 可操作特征的示例包括与收入或贷款数量相对应的特征。 相比之下，与年龄或种族相对应的特征则不然。 作者认为，在提取反事实时，只应考虑可操作的特征。 然后作者制定了一个离散优化问题，它搜索特定人可以做出的可能更改，以获得所需的分类结果。 这个问题通过将其表示为整数规划来解决。  
Joshi 等人提出了另一种追索算法。 [69]。 作者对基础数据分布或流形进行建模，即每个点附近局部类似于欧几里得空间的拓扑空间。 他们提供了一种基于梯度的算法，允许从模型的潜在空间进行采样，以找到可以改善结果的最小变化集。 所提出的算法为分类和因果决策系统提供了资源。 为了处理不可变变量，作者提出并训练因果决策系统的条件变体。 所提出的资源算法可以突出决策算法是否系统地混淆了特定属性。 与前两种类似，该技术也仅限于可微分模型。  
Looveren 和 Klaise [70] 提出了一种使用类原型寻找可微分类器预测的反事实解释的技术。 具体来说，类原型是潜在空间中具有相同类标签的 K 个最近实例的平均编码。 潜在空间是通过使用自动编码器获得的，自动编码器是一种人工神经网络，旨在通过训练网络以无监督的方式忽略噪声来学习一组数据的表示，通常用于降维。 目标函数中使用类原型来引导扰动快速走向可解释的反事实。 作者提出了用于量化实例级别可解释性的替代指标。 他们还提出了成对距离度量，将分类变量的嵌入转换为数字空间，这使他们能够在生成反事实时定义有意义的扰动。  
Russell [71]提出了一种基于混合整数规划的搜索算法和一组反事实约束。 该技术的主要目标是解释财务决策，假设分类器是线性的（例如 SVM 或线性/逻辑回归）并且数据已通过混合编码或虚拟变量编码进行转换。 作者制定了一个成本最小化优化问题和一组限制状态的约束改变先前生成的反事实中的特征，以确保生成不同的反事实。

  2. 与模型无关的反事实解释  
Guidotti 等人。 [31]提出了一种称为 LORE 的技术，它代表黑盒决策系统的基于局部规则的解释。 它使用遗传算法生成给定实例的合成邻域。 基于这个邻域，得出一个解释，该解释由决策规则和一组反事实规则组成，表明实例特征的变化会导致不同的结果。 由于这些解释的性质，用户不仅获得了如何获得当前实例的可操作资源的具体示例，而且还获得了具有相反标签的相邻实例的抽象特征。 这样，用户可以将该实例与其邻居进行比较，并可以识别两者之间的差异，从而导致实例被不同地分类。  
格拉斯等人。 [76]提出了一种称为积极反事实的技术。 该技术将反事实应用于信用应用，以解释分类器的积极结果，而不是只关注消极结果。 在积极结果的情况下，作者将反事实解释为安全边际，即分类器决策边界的容忍度。 因此，他们不是回答贷款为何被拒绝的问题，而是衡量申请与决策边界之间的距离，以量化申请距被拒绝的距离有多远。 反事实是通过优化 Wachter 等人提出的损失函数来生成的。 [66]。 作者没有考虑所有功能，而是只关注重要的功能。 通过减少要考虑的特征数量，作者最终减少了用户为了获得所需结果而可以选择的更改数量，这使得用户更容易做出决定。 作者评估每个特征重要性的方式基于两种加权策略。 第一个依赖于使用方差分析（ANOVA F 值）的全局特征重要性。 第二种策略遵循 K 最近邻方法来识别与实例相似的案例，只是它们的分类产生了所需的结果。 最后，作者依赖于尺寸解释的数量作为衡量其可解释性的代理，倾向于涉及用户应更改以获得所需结果的最少功能的解释。![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-04/jm7oWwTsFSndqKBr91lzhxyctR6P.png)  
卡里米等人。 [77]提出了一种称为 MACE 的技术，它代表模型不可知的反事实解释。 该技术在任何给定距离函数下生成最接近的反事实解释，同时支持额外的合理性约束。 作者通过将预测模型和距离函数（以及合理性和多样性约束）表示为逻辑公式，将最近的反事实问题映射为一系列可满足性问题。  
White 和 Garces [78] 提出了 CLER：通过回归进行反事实局部解释。 所提出的技术解释了模型的结果以及如果情况不同的话它会如何变化。 CLER 生成反事实解释，确定翻转预测分类所需的最小更改。 然后，它构建局部回归模型，使用反事实来衡量和提高回归的保真度。 相比之下，LIME 方法 [24] 也使用回归来生成局部解释，既不测量其自身的保真度，也不生成反事实。 研究发现 CLER 回归的保真度比 LIME 平均高 40%。 CLER 通过利用两种最先进的解释方法的优点提供反事实解释，同时解决它们的弱点。 作者提到 Wachter 等人的工作。 [66]遗漏了特征交互的部分，并且方程范围没有覆盖实例周围的邻域。 CLER 对感兴趣实例的邻域使用逐步回归来生成反事实并测量回归系数的保真度。  
劳格尔等人。 [79]提出了 Growing Spheres，一种基于实例的方法，其思想是通过比较来解释模型的单个预测。 所提出的技术局部探索分类器的输入空间来识别它的决策边界。 给定需要解释其分类的数据点，所提出的方法包括识别分类在不同类别中的近邻，以确定当前实例中改变分类器预测所需的最小变化。  
夏尔马等人。 [80]提出了一种与模型无关的统一方法，称为人工智能模型的鲁棒性、透明度、可解释性和公平性的反事实解释（CERTIFAI）。 给定模型和输入实例，CERTIFAI 使用自定义遗传算法来生成反事实。 除此之外，作者还介绍了基于反事实解释的鲁棒性评分（CERScore），这是一种黑盒模型鲁棒性评分函数，可以在不同数据集上训练的不同模型之间进行比较。 给定一个模型，CERScore 定义为输入实例与其相应的反事实之间的预期距离。 CERScore 越高意味着模型越稳健。  
帕韦尔奇克等人。 [47]提出了一个名为 C-CHVAE 的框架，它代表反事实条件异构自动编码器。 它适用于表格数据，无需在输入空间中指定距离或成本函数。 作者建议将反事实搜索嵌入到变分自动编码器（VAE）中，这是一种数据密度近似器。 使用 VAE 作为搜索方法的想法是找到最接近并连接到输入数据的反事实。 给定原始数据，编码器会生成更简洁的数据表示，从而允许框架在较低维邻域中搜索潜在的反事实。 接下来，作者扰动低维数据表示并将扰动的表示输入解码器。 对于小扰动，解码器通过从扰动表示重建输入数据来给出潜在的反事实。 接下来，潜在的反事实被传递给预训练的分类器，以确定预测是否已改变。 作者还建议在生成的反事实解释中添加质量衡量标准，以量化难度。 该度量基于输入特征和潜在反事实解释之间的相似性。在这里插入图片描述![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-04/Q94xBErUSAYdlf2V5HnCPm8b36TL.png)  
波亚齐等人。 [81]提出了一种称为可行且可操作的反事实解释（FACE）的技术，它可以通过量化路径长度和沿该路径的密度之间的权衡来获得反事实。 沿路径的密度可以通过最短路径算法最小化。 所提出的方法尊重底层数据分布，并且产生的反事实通过高密度路径连接到所解释的实例。  
丹德尔等人。 [82]提出了一种多目标反事实（MOC）方法，将反事实搜索转化为多目标优化问题。 所提出的方法返回一组不同的反事实，并在所提出的目标之间进行不同的权衡，并保持特征空间的多样性。 这使得能够进行更详细的分析，为可操作的用户响应提供更多选项，以改变预测结果。 与 Wachter 等人提出的技术相比。 [66]，该技术使用混合特征空间的距离度量和两个附加目标：第一个测量特征变化的数量以获得稀疏且更可解释的反事实； 第二个衡量与最近观察到的数据点的接近程度，以获得更合理的反事实。 作者建议使用个体条件期望（ICE）曲线来衡量单个预测的特征重要性[88]——该曲线显示当特征改变时预测如何变化，而其他特征是固定的。所考虑的观察值。 他们使用经过一些修改的非支配排序遗传算法[100]来解决多级优化问题。

三． XAI 模型检测  
模型检查技术提供了理解黑盒模型如何工作或为什么它在某些情况下返回的预测概率比其他情况下更高的见解。换句话说，模型检查技术旨在理解黑盒模型或其预测的某些特定属性。我们的目标是了解当输入发生变化时，黑盒内部的行为。这是通过改变输入或一些内部组件来估计特征的相关性，并记录模型如何受到这些变化的影响。  
正如前面介绍中提到的，模型检查技术分为两类：模型不可知的和模型特定的。对于前者，可以进一步分为基于敏感性分析的（将在第III-A节中解释）和基于部分依赖图的（将在第III-B节中解释）。至于模型特定的检查技术，将在第III-C节中讨论。本节中考虑的技术总结见表4。  
![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-04/XjqYoIZiTf0NRgdJSEnMzmF42AOa.png)  
图7.特征重要性和VEC曲线的说明。这个例子使用了一个关于白色葡萄酒质量的数据集[101]，由11个特征和一个表示葡萄酒质量的输出变量组成，范围从3到9。A.条形图表示基于白色葡萄酒质量数据集的回归分析的特征重要性，其中目标是预测人类专家的口味偏好。B。条形图表示“硫酸盐”（因为它在图7A中具有最高的重要性）和每个剩余特征之间的二维相互作用。这表明，在预测葡萄酒质量时，酒精和pH值与硫酸盐的相互作用比其他特征更高。C.分析白色葡萄酒质量数据集以将葡萄酒分类为低质量（其中输出变量<6）或高质量（其中输出变量≥ 6）。除了pH值的直方图（根据论文，这是葡萄酒质量最具指示性的特征）之外，该图还显示了变量效应特征（VEC）曲线，该曲线表示pH值对模型分类的影响。可以观察到pH值的非线性影响，突出显示pH值在范围[3.4，3.5]内的事实最大化葡萄酒质量被归类为高的概率。

A.基于灵敏度分析的模型检验  
敏感性分析包括能够量化ML模型的不确定性如何与以下因素相关的方法输入特征的不确定性。这样的分析可以用于探索在某些条件下模型结果的鲁棒性和准确性，并且可以揭示模型参数和输入特征之间的意外关系。它测量输入变化对模型行为的影响，并有助于增强模型的稳定性，特别是因为它识别了导致模型性能显著不确定性的输入[102]。敏感性分析作为一种模型不可知的解释技术在XAI文献中被广泛使用。接下来，我们将介绍其中的一些技术。  
Baehrens等人。[83]提出了一种基于高斯过程分类的技术，这是一种非参数分类方法。该技术提供了本地解释向量来解释实例级的预测结果。这些解释由局部梯度组成，局部梯度表征了数据点如何移动以改变其预测标签。这些局部梯度还突出了在特定实例的模型决策中最具影响力的特征。  
Datta等人。[86]提出了一种技术来估计特定输入特征对黑盒模型结果的影响，同时考虑任何相关特征。他们的方法是基于这样的看法，即为了估计不同特征的影响，孤立地分析它们是不够的，因为不同特征之间可能存在协同作用。考虑到任何这样的协同作用，作者借用解决方案的概念，从合作博弈论，包括Shapley值和Banzhaf指数。  
Cortez和Embrechts [84]，[103]提出了另一种方法，该方法使用成熟的敏感性分析技术，结合可视化，旨在提供更直观的解释。在这里，敏感性分析考虑预测的范围、梯度和方差。然后使用条形图以及他们称之为“可变效应特征（VEC）曲线”的曲线来可视化该分析的结果，该曲线用于展示模型中给定特征的平均影响;参见图7中的示例。作者还提出了三种新的敏感性分析技术[85]，即基于数据的敏感性分析，蒙特-卡罗敏感性分析和基于聚类的敏感性分析，以及一种新的输入重要性度量，即平均绝对偏差;更多详细信息请参见论文。  
B基于部分依赖图的模型检验  
部分依赖图（PDP）最初由Friedman [19]提出，是一种用于可视化一个或两个不相关特征对ML模型预测结果的平均边际效应的工具。它可以帮助观察结果变量和特征之间的关系是线性的、单调的还是更复杂的。PDP直观且易于实现，但它们的工作假设是被分析的特征与其他特征不相关，这是一个可能并不总是成立的假设。接下来，我们将介绍一些PDP技术。  
![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-04/1EcBs7O8YxvrDAw2MIJZC9VoQmG4.png)  
图8.描述如何计算部分依赖图（PDP）的插图。这个例子基于一个预测糖尿病风险的数据集，其中每行代表一个患者，每列代表一个特征。“风险”列是预测模型的输出（H表示高风险，而L表示高风险）。  
A.每个患者的原始特征值。  
B。如果分析师想要检查葡萄糖对预测的影响，则可以通过改变葡萄糖的值同时保持所有其他特征不变来应用部分依赖性，以确定葡萄糖如何影响预测。在该示例中，所有患者的葡萄糖值都设置为100，这将一个患者的预测从高风险变为低风险。  
C.所有患者的血糖值现在都设置为130，这将一名患者的预测从低风险变为高风险。图8B和8C中的发现表明，葡萄糖和预测之间存在部分依赖性。  
D.Prospector是许多基于PDP的技术之一，也可用于本地检查。在该图示中，所有行表示同一患者。第一行对应于该患者的原始特征值，而其余各行对应于其中一个值的变化，该值以黄色突出显示。可以看出，改变年龄不会改变预测，而改变BMI或葡萄糖会将预测从低风险变为高风险。

胡克提出了一种技术[87]，用于评估任何一组特征之间的非加性相互作用的重要性。该技术的实现使用函数ANOVA分解生成的变量交互网络可视化。这样，用户可以可视化特征的重要性以及它们的相互依赖性沿着。  
Krause等人[89]，[104]提出了一种称为Prospector的技术，这是一种交互式可视化分析系统。它引入了黑箱模型输入特征值的随机扰动，以了解每个特征对预测的影响程度。Prospector的思想是通过每次改变一个输入特征来观察输出如何变化;参见图8中的示例。最后，我们注意到，这种技术也可以给予洞察最重要的功能。  
Goldstein等人。[88]提出了个体条件期望（ICE）图，有助于可视化结果与某些输入特征之间的平均部分关系。ICE图对PDP图的贡献在于它能够突出拟合值的变化。  
Cascadechio等人提出了一种结合PDP、ICE和SHAP的最新技术[90]。该技术可视化预期的条件特征重要性，而不是预期的条件预测。通过这种方式，用户可以确定每个特征在局部或全局水平上对模型预测的贡献程度。  
Adler等人。[91]提出了一种技术，该技术专注于某些特征通过其他相关特征对模型结果的间接影响。该技术建立在Feldman等人的工作基础上。[105]，他们基于观察结果证明并消除分类器中的偏差，即可以通过从剩余特征中预测特征来估计特征的信息内容。阿德勒等人的新奇的工作是，而不是消除功能的影响，以消除相关的偏见，作者量化的功能的影响。  
Adebayo和卡加尔[92]提出了一种迭代转换给定数据集中的输入特征以获得多个新数据集的过程，其中每次迭代后删除一个特征。然后，作者比较了不同的数据集，以确定每个特征对黑盒模型的影响。在任何给定的迭代中，特征fi被“移除”的方式如下。作者使用了一种特殊类型的线性变换，称为正交投影[106]，其中除fi之外的每个特征都与fi正交，从而消除了这些特征之间的任何线性依赖。Adebayo和卡加尔提出的技术是一个名为FairML的更大项目的一部分[107]，其思想是通过改变它们来测量模型对其输入特征的依赖性。这样，如果输入特征的微小变化会显著改变模型输出，则意味着模型对该特定特征敏感。  
C.通过特定于模型的技术进行模型检查  
到目前为止，本节介绍的模型检查技术都是与模型无关的。在本小节中，我们将介绍模型特定的技术。  
奥登和杰克逊[96]使用敏感性分析来解释人工神经网络（ANN）的内部机制。通过评估网络内连接的重要性以及输入特征对输出的贡献，该技术允许从网络中移除空神经通路和无关紧要的输入特征，从而降低其复杂性并提高其可解释性。Tishby和Zaslavsky [108]指出，具有某些属性的神经网络可以在信息平面中进行研究-每个层在输入和输出变量上保留的互信息值平面。这样做是为了提取给定要素可能包含的相关信息关于输出。Schwartz-Ziv和Tishby [93]扩展了这个想法，它提供了对深度学习的训练动态，学习过程和内部表示的更好理解。  
Thiagarajan等人[94]提出了一种称为TreeView的技术，其目标是使用决策树提供DNN的可视化表示。这是通过对特征空间应用分层划分来实现的，从而揭示了不太可能的类别标签的迭代拒绝和最可能的标签的识别。  
Sundararajan等人。[95]研究了将DNN的预测归因于其输入特征的问题，并提出了一种称为集成梯度的归因方法，这是计算预测输出相对于输入特征的梯度的变体。  
最后，我们提出了一些围绕随机森林构建的技术。特别是，Auret和Aldrich [98]使用随机森林模型生成的变量重要性度量和部分依赖图作为回归模型的扩展，以分析特征相互作用并识别异常过程的根本原因。Welling等人。[99]提出了Forest Floor，一种允许用户可视化随机森林模型并观察特征交互的工具。为此，作者首先使用特征贡献来分解决策树，然后使用从特征空间到预测空间的投影映射。另一种用于解释随机森林的技术由Palczewska等人提出。[97]，它通过提出中值分析，聚类分析和对数似然扩展了特征排名的一般思想。通过这种方式，可以识别输入特征中的感兴趣模式，并确定每个特征对单个实例的模型预测的影响。

四.XAI用于模型解释  
在本节中，我们将讨论能够解释黑盒ML模型逻辑的XAI技术。这种解释通常是通过构建另一个模仿黑盒模型的可解释模型来得出的。第IV—A节讨论了与模型无关的技术，而第IV—B节讨论了那些特定于模型的技术。  
a.基于模型不可知技术的模型解释  
如第二节所述，一些为结果解释而设计的技术也可以提供对基础模型的全局解释。在本小节中，将首先讨论这些技术，然后讨论用于模型解释的其他模型不可知技术。本小节中描述的所有技术总结见表5。  
从SP-LIME [24]开始，它从输入数据中获取代表性样本集，并计算该集中所有实例的LIME系数，从而提供ML模型决策边界的全局视图。  
**另一种基于LIME的技术称为ILIME [27]。我们已经在第二节中讨论过这是一种解释结果的技术** ，但在这里我们将讨论如何将其用于模型解释。这可以通过使用树状图将类似的实例分组到集群中，然后提供从每个集群中提取的代表性实例的结果解释来完成。Tree SHAP [39]是第二节中的另一种结果解释技术，也可用于模型解释。这是使用一组工具来完成的，这些工具通过计算所有样本的局部解释来提供对模型的全局理解。这些工具包括（i）全局特征重要性图，（ii）局部解释摘要图，（iii）特征交互图，其在减去个体特征的主效应之后组合联合收割机特征效应，以及（iv）局部解释嵌入，其支持监督聚类以及可解释的降维。  
一些模型解释技术是基于一般加性模型（GAM）[116]。一般来说，GAM是捕捉数据中的非线性的模型，因为因变量与自变量通过不一定是线性的函数相关。基于GAM的模型解释技术指定了单个特征的重要性，沿着捕获线性和非线性的函数的形状。Lou等人提出了一种这样的技术。[109]，它可以通过将因变量建模为单变量模型的总和来解释回归，单树和树系综。在同一作者[110]提出的改进技术中，称为广义加性模型加相互作用（GA2M −模型），他们建议通过仅向模型添加选定的相互作用特征对来使解释更容易理解。为此，他们提出了一种对特征对进行排序的方法，以确定对模型最有利的特征。Caruana等人[117]在一项医疗保健相关案例研究中证明了GA2M的潜在应用。  
另一种模型解释技术称为GoldenEye [111]，它基于数据随机化来识别其相互作用对预测有影响的特征组。特征组和其中的依赖关系表示全局解释。一年后，Henelius等人[118]提出了一个改进版的GoldenEye，称为GoldenEye++，它使用了一个更敏感的分组度量。  
Krishnan和Wu [112]提出了一种称为PALM的技术，它代表分区感知局部模型。它通过总结训练数据集来帮助机器学习算法的调试。为此，它通过使用代理模型和一组子模型对训练数据集进行分区来近似黑盒模型，这些子模型又近似每个分区内的模式。子模型可以是复杂的，以捕获复杂的局部模式。然而，代理模型被设计为决策树，使得用户可以容易地识别其中发生误分类的树的分支。  
![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-04/bKkX4Ncm5OYhIS3aM7VriAtdERHq.png)  
Zien等人。[113]提出了另一种称为特征重要性排名度量（FIRM）的模型解释技术，这是一种称为位置寡聚体重要性矩阵（POIMs）的分类技术的推广。更详细地说，POIM考虑了不同特征之间的相关性，以衡量二进制特征对用于字符串分类的基于SVM的序列分类器性能的影响[119]。  
FIRM是POIM的概括，可以用于实值特征（而不仅仅是二进制特征）和更广泛的分类器（而不仅仅是用于字符串分类的SVM）。由于FIRM考虑了特征之间的任何相关性，即使训练数据包含相当大的噪声，它也能够识别出最相关的特征。Vidovic等人。[34]提出了一种建立在FIRM基础上的技术，称为特征重要性度量（MFI）。该技术可以应用于任何分类器，并且可以提供结果解释以及模型解释。为此，作者提供了评估哪些特征对所解释的机器学习算法最重要的公式。值得一提的是，MFI本质上是非线性的，可以检测到不明显的特征，这些特征仅通过与其他特征的相互作用来影响预测功能。  
Bastani等人[114]提出了另一种最近的模型解释技术。特别是，作者建议以决策树的形式构建黑盒模型的全局解释，该决策树近似于原始模型。该技术主动从训练样本中采样，以避免在提取决策树时过拟合。  
最后但并非最不重要的是，我们提到Lakkaraju等人的工作，他提出了一种叫做通过子空间解析来理解模型的技术（MUSE）[115].该技术通过解释给定黑盒模型在由用户感兴趣的某些特征表征的子空间中的行为方式来提供对给定黑盒模型的更好理解。解释的构建由一个目标函数指导，该目标函数同时优化了保真度，明确性和可解释性。这反过来又产生了少量的决策规则，使模型易于理解。在另一项研究中，同一作者提出了一种称为BETA的技术，代表通过透明近似的黑盒解释[120]，他们使用两级布尔规则预测器来解释黑盒模型。

B。通过模型特定技术的模型解释  
本节中介绍的每种技术都是为了解决特定类型模型的模型解释问题而设计的，这些模型可以是神经网络、支持向量机或树集成。我们根据解释的生成方式对这些技术进行分类，这些解释要么使用树近似（第IV-B1节），要么使用规则提取（第IV-B2节）。  
1)基于树近似的模型解释  
本小节介绍了各种特定于模型的技术，这些技术提供了基于树近似的模型解释。这些技术的总结见表6。  
一组研究建议使用决策树来模拟底层黑盒模型的全局行为。Craven和Shavlic是第一个使用这种方法来解释神经网络的人。他们的技术称为Trepan，通过查询神经网络来构建决策树，该决策树通过最大化增益比来近似网络所表示的概念。Trepan启发了许多研究人员，包括Krishnan等人。[122]，他提出了一种使用遗传算法查询神经网络的技术。其思想是获取神经网络的输出向量，并使用查询来获得相应的输入向量;然后使用这些向量来提取行为就像神经网络一样的决策树（即，在给定相同输入的情况下提供类似的输出），但本质上比神经网络更容易理解。另一种受Trepan启发的技术是Schmitz等人提出的技术。[123]。该技术从训练好的神经网络中提取二叉决策树。然而，与神经网络必须具有离散输出的Trepan不同，即使输出是连续的，Schmitz等人的技术也可以应用于神经网络。此外，与Trepan不同，他们的技术考虑了特征的重要性。Boz [124]提出了另一种基于Trepan的技术，增加了在树构建过程中识别最相关特征的能力。最后，我们提到了Johanson和Niklasson的工作[125]，他们使用遗传编程来进化决策树，以模仿神经网络的行为。  
所有上述技术都为不深入的神经网络提供了解释。接下来，我们将介绍两种可用于深度神经网络的技术。特别是，Che等人[126]提出了一种使用梯度提升树从深度神经网络学习可解释的模型。Wu等人[127]提出了另一种技术，即基于惩罚模型复杂性的函数优化深度网络；这导致深度网络不那么复杂，因此更容易解释。更具体地说，作者表明，他们的优化技术产生了深度时间序列模型，其决策边界可以用小决策树来近似。  
在讨论了如何解释神经网络之后，我们现在讨论如何解释树集成。特别地，树集合是与单个决策树相比产生上级预测性能的决策树的组合。树集成的一些示例是随机森林和提升树。接下来，我们介绍了文献中提出的解释树系综的技术，从奇普曼等人的工作开始。[128]。作者指出，尽管随机森林可能包含数百棵树，但其中许多树通常具有相似的拓扑结构，仅相差几个节点。基于这种观察，作者提出了树对象的距离度量，并使用这些度量来识别和聚类相似的树。最后，他们从每个聚类中挑选一个有代表性的样本，他们称之为原型，并提供这些原型作为模型解释。  
![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-04/ACKvS4M5daTbxjfkeR1u2WNqJI7F.png)  
表7.第IV-B2节中涵盖的特定模型的总结，所有这些都使用规则提取提供模型解释。这里，所解释的模型的类型是ANN（人工神经网络）、SVM（支持向量机）或树集合。

已经提出了其他技术来解释树集成，这些技术都基于两个步骤：（1）使用随机森林的预测生成大型合成数据集；（2）在此合成数据集上训练决策树以模仿随机森林的行为。然后提供决策树作为解释，因为它本质上很容易被人类理解。使用这些步骤的第一种技术是由Domingos [129]提出的；他们的技术被称为CMM，代表组合多模型。具体来说，给定一个树集成，所提出的方法首先修改输入数据集多次，每次学习一组黑盒。然后，使用这些数据集和黑盒构建决策树。受到这种方法的启发，Gibbons等人[130]提出了一种不同的技术，旨在利用树集合的准确性和单个树的可解释性。为此，作者首先将随机森林拟合到输入数据。之后，他们生成一个比原始数据大得多的合成数据集，同时保留每个特征的分布。然后将一棵树拟合到这个合成数据集，目标是尽可能接近地模拟随机森林的输出，同时使用足够的数据来降低树对小扰动的敏感性。最后，作者将决策树的深度降低到6到11之间，以使决策树更容易被人类理解。这种技术在原始数据集很小的情况下特别有用（例如，作者使用的数据集只包含656个观测值），因为合成数据集比原始数据集大得多。作为这项工作的延伸，周和胡克[131]建议使用假设检验来确定在决策树的每个分支划分数据的最佳方式。更具体地说，他们计算基尼指数，以确保该部门最大限度地提高信息增益。  
通过决策树进行模型近似的其他研究包括：（1）通过从每个类中采样观察值来近似随机森林和梯度提升树[132]，（2）通过实施马尔可夫链蒙特卡罗技术来近似贝叶斯决策树集合[133]，以及（3）通过利用期望最大化算法作为后处理方法的加法树模型[134]。

2)通过规则提取的模型解释本小节介绍了一些特定于模型的技术，这些技术使用规则提取来提供模型解释。这些技术的总结见表7。  
已经开发了许多方法来从训练的神经网络中提取if-then规则[149]-[152]。这些方法将提取视为搜索问题，其中搜索涉及找到解释网络中输出和隐藏单元的激活的规则。然而，当搜索空间的大小与输入特征的数量成指数关系时，这些方法都存在计算上具有挑战性的限制。与这些研究不同，Craven和Shawlik [135]提出了一种替代方法，该方法将规则提取过程视为学习问题，而不是搜索问题，目标是识别与训练神经网络的每个输出相对应的输入。现在，如果输入输出对没有被提取的规则覆盖，然后，从该输入-输出对形成一个合取规则，该规则考虑所有可能的前因。当所有输入输出对都被规则覆盖时，此过程终止。  
Taha等人。[136]提出了三种从ANN中提取规则的技术;每种技术的适用性取决于网络参数。第一个是一个黑盒规则提取技术的二进制输出的网络，它产生的真值表从训练的人工神经网络和提取二进制rules从it.The第二和第三个技术是链接规则提取技术，是特定的前馈神经网络与一个单一的隐藏层。它们每次都考虑一个节点，并且对于每个这样的节点，搜索其加权和超过该节点的偏差的输入链接的不同组合。然后，对于这些组合中的每一个，该技术生成规则，该规则的前提是该组合的输入节点。第二种技术是识别最重要的嵌入式知识，具有可调整的细节水平，而第三种技术则提供了更普遍的理解。  
奥古斯塔和Kathirvalavakumar。[137]提出了一种称为RxREN的逆向工程技术，该技术从传统的前馈神经网络中提取if-then规则。从神经网络中提取规则的其他技术包括遗传编程[153]-[155]，函数分析[156]，神经网络节点的布尔函数近似[157]，隐藏层的信息增益最大化[158]以及隐藏节点激活值的递归离散化[159]。  
在介绍了解释神经网络的规则提取技术之后，我们现在介绍那些解释SVM的技术。我们从Núñez等人的工作开始。[139]，他提出了一种称为SVM+Prototypes的技术。它的工作原理是首先确定由SVM定义的输入空间中的决策边界。下一步是通过使用聚类算法来识别代表每个类的原型向量。最后，使用几何方法，这些向量与支持向量相结合，在输入空间中定义椭球，可以转换为if-then规则。在后续研究中，作者提出了该技术的改进版本[160]。另一种技术是由Zhang等人提出的。[140]基于支持向量聚类-一种非参数聚类算法，不对数据中聚类的数量或形状做出任何假设-找到每个类的原型向量，然后在它们周围定义小的超矩形。Fung等人。[141]提出了一种基于约束编程的算法，用于将线性SVM或其他基于超平面的线性分类器转换为一组非重叠和人类可解释的规则。规则提取算法的每次迭代被公式化为计算上可行的约束优化问题。与SVM+Prototypes [139]不同，这种技术不需要数据预处理步骤（例如，集群），这可能是计算上昂贵的。  
Barakat和布拉德利[142]提出了一种直接从支持向量中学习规则的规则提取方法训练SVM使用顺序搜索算法。这些规则是基于对由类间分离测量的最具鉴别力的特征的有序搜索而生成的。Barakat和Diedrich [143]提出了一种技术，再次使用来自trainedSVM的支持向量以及相关参数来提取规则。Fu等人。[144]提出了一种技术，通过使用超矩形形式定义的区间从SVM中提取if-then规则。超矩形是利用支持向量机的决策边界和支持向量机之间的交集来创建的。查维斯等人。[145]提出了一种从SVM中提取模糊规则的方法，而不是命题规则，这增加了生成规则的可解释性。所提出的技术包括三个步骤。首先确定支持向量在坐标轴上的投影，然后为每个坐标构造若干个三角模糊集，最后由每个支持向量生成规则。其他技术包括使用特征选择、预测建模和规则提取从SVM中提取if-then规则[146]，以及使用增长支持向量分类器在输入空间的局部区域中提取线性规则[147]。  
最后，在介绍了解释ANN和SVM的规则提取技术之后，我们通过介绍一种解释树集成的技术来结束本小节。特别是，Deng [148]提出了一个名为InTrees的框架，该框架从树集合中提取，测量，修剪和选择决策规则，并计算频繁的变量交互。InTrees通过处理规则在树中出现的频率、预测产生的错误和规则的长度之间的权衡来提取规则。所描述的技术也被称为简化树包围学习器（STEL）。STEL规则随后可以被组合到基于规则的分类器中，该基于规则的分类器在给定新观察的情况下迭代地搜索匹配规则。给定具有相似频率和准确度的两个规则，具有较小长度的规则可能是优选的，因为它更易于解释。

五、可以解释的模式  
到目前为止讨论的所有技术都被认为是事后的，即，它们被设计用来解释训练过的模型。尽管这些技术有其优点，但也有其局限性和弱点。特别是，最近的研究[17]，[161]认为事后解释是不可靠的，因为它们不一定忠实于基础模型，并且呈现相关性而不是关于原始计算的信息。这些研究还声称，模型准确性和可解释性之间的权衡并非不可避免，特别是如果数据结构良好，具有有意义的特征。事后解释技术的稳定性也受到了批评，表明其中一些在局部不够稳定[162]，或者相反，太稳定，因此没有足够的局部准确性[163]。Slack等人强调了另一个局限性。[164]，他们证明了基于扰动的结果解释技术可以通过所谓的“脚手架技术”被愚弄。这种技术能够隐藏通过允许对抗性条目制作一个任意设计的解释，这看起来完全无害，以至于用户无法检测到攻击，从而消除任何给定分类器中的偏见。注意，只要可以区分扰动实例和输入数据，这种攻击就适用。最后，我们提到了Mittelstadt等人的工作。[165]，他们指出需要更多的研究来更好地理解模型结果与XAI技术结果之间的联系。  
![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-04/BjTACrbfLUu9EHZVkvJoplSmhq4P.png)  
上述局限性促使模型的发展，从本质上是可解释的开始。更具体地说，如果模型本身是可以理解的，而不需要涉及任何其他技术，则认为模型是可解释的。有一些众所周知的可解释的模型和一些最近提出的模型，这两个都将在下面讨论。不同类型的可解释模型的说明可以在图9中找到。  
·线性回归在独立性假设下将目标预测为输入特征的加权和[166]。学习关系的线性使模型易于解释。尽管是由于线性回归是可解释的，因此它不能捕获非线性相互作用，并且不具有高的预测性能。  
逻辑回归是线性回归模型的扩展，用于只有两个结果的分类问题[167]。它可以从二元分类扩展到多类分类。它的优点是它不仅返回类，而且返回相应的概率。然而，缺点是与线性回归相比，它不太直观，更难解释，因为特征权重不是相加的。  
广义加性模型（GAM）是一种线性模型，其假设是输出变量可以建模为每个特征的任意函数之和[116]。通过这种方式，GAM能够捕获特征和输出变量之间的任何非线性关系，同时仍然易于解释，因为它是特征效应的总和。因此，GAM提供了从线性模型到更灵活模型的平滑过渡。GAM的缺点之一是它严重依赖于对数据生成过程的假设。  
![在这里插入图片描述](https://ad.itadn.com/c/weblog/blog-img/images/2025-05-04/7Co1bfeVRDIv8PrYOHkwt4qJWj9N.png)  
图10.MUSE方法的算法流程说明。MUSE（代表通过子空间解析的模型理解）将数据沿着黑盒模型的预测以及用户指定的感兴趣的特征作为输入。然后，MUSE根据感兴趣的特征生成决策规则。对于每一个这样的规则，它使用一个目标函数，共同优化原始模型的保真度，解释的明确性和可解释性。最后，它以自定义解释的形式给出输出。

决策树适用于特征和结果之间的关系是非线性的或特征之间相互作用的情况。基于树的模型通过根据特征中的某些截止值将输入数据分割多次来工作。这会导致创建不同的数据子集。最后的子集称为叶节点，中间的子集称为内部节点。这种模型的优点是，它们捕获的功能相互作用，很容易可视化和解释。然而，它们的缺点是不适合输入特征之间的线性关系，并且对训练数据集的微小变化敏感。  
决策规则是简单的“如果-那么”语句，由条件和预测组成。决策规则的示例可以是：“如果今天是晴天并且是八月，那么明天也会是晴天”。可以使用单个决策规则或多个决策规则的组合来进行预测。应用规则条件的实例的百分比称为支持度。规则的准确性是衡量规则在预测正确的类方面的准确性的一个指标。规则的条件适用的实例。通常，在准确性和支持度之间存在一个权衡：通过向条件添加更多的特征，我们可以获得更高的准确性，但会失去支持度。沿着的是易于解释，决策规则具有紧凑和快速计算的优点，因为它们只使用相关的特征。决策规则的一些缺点是它们主要关注分类任务而不是回归，并且它们最好用于特征是分类的数据集。  
朴素贝叶斯分类器使用贝叶斯条件概率定理，并基于特征独立性的假设。它是一种构造分类器的简单技术，并且有一系列算法用于训练这种分类器。由于独立性假设，朴素贝叶斯是一种可解释的模型，可以在模块化水平上进行解释[169]。然而，缺点是由于其“天真”的假设，其预测能力相对较弱。  
·K-最近邻可用于分类和回归，并使用最接近的邻居。给定的数据点，以产生其预测。对于分类，它计算兴趣点与数据中所有示例之间的距离，并基于数据中最接近的k个示例中最频繁出现的类来确定该点的类。对于回归，它只是取邻居结果的平均值。因此，该模型可以被认为是局部可解释的，因为任何兴趣点的分类背后的原因可以根据“局部”的其他示例的分类来理解，即，接近那个点。但是，如果用户需要额外的解释，无论是局部的还是全局的，这个模型都不能提供。  
上述模型中的每一个都可以单独应用于分类和/或回归。也有一些研究利用这些模型来构建可解释的框架。在从数据中提取决策规则的方法中，我们从Liu和Tan的工作开始[170]，他们提出了一种名为X2R的算法，可以从原始数据中学习规则，无论是数字还是离散的。该算法使用离散化，特征选择和概念学习来从这些数据中生成规则；这些规则使模型可解释。Yin和Han [171]提出了CPAR，代表基于预测关联规则的分类。它同时利用了关联分类（更高的分类精度）和传统的基于规则的分类（直接从训练数据中生成规则）。Wang和Rudin [172]使用贝叶斯框架来提取“下降规则列表”，这是一个有序的if—then规则列表，其中规则的顺序决定了每个规则应该对哪个示例进行分类，并且估计的成功概率沿着列表单调递减。Letham等人。[173]使用贝叶斯规则列表（BRL）将高维，多变量特征空间离散化为一系列可解释的决策规则列表。这样的列表由覆盖整个特征空间的if—then规则组成。另一种使用贝叶斯框架提取决策规则的方法由Wang等人提出。[174]。这种方法称为贝叶斯规则集（BRS），提供了预测背后的理由，以及对不同类别的描述。在BRS中，模型的形状可以由用户通过贝叶斯先验来控制。  
规则提取的另一个最近的例子是Lakkaraju等人的工作。[168]，他们提出了一个通过提取可解释决策集（IDS）来生成预测模型的框架，即，独立的if-then规则。由于每个规则都是独立适用的，因此决策集简单，简短，易于解释。作者形式化的目标函数，同时优化的准确性和可解释性的规则。特别是，该方法可以学习短，准确，不重叠的规则，以覆盖整个特征空间。IDS的一个示例如图11所示。

六.XAI XAI的应用范围广泛，包括医疗保健[175]-[181]（第VI-A节），金融[182]-[186]（第VI-B节），刑事司法[187]-[190]（第VI-C节）和其他领域[191]，[192]（第VI-D节）。考虑到我们对表格数据的关注，我们将讨论依赖于此类数据的应用程序。  
A.HEALTHCARE  
Caruana等人[117]在医疗保健领域应用了GA 2 M-第IV-A节中讨论的模型解释技术。具体来说，作者进行了两个案例研究：（i）肺炎风险预测;（ii）30天的再入院。在前一个案例研究中，目标是预测死亡概率，以便高风险患者可以住院，而低风险患者作为门诊患者接受治疗。在后一个案例研究中，目标是预测哪些患者可能在出院后30天内再次入院：如果患者异常迅速地返回医院，这意味着医院在患者住院时没有提供足够的护理。作者表明，GA 2 M可用于解释模型对任何给定患者的预测，将重点放在该特定患者最重要的特征上。  
Khedkar等人[193]训练了一个基于电子健康记录的神经网络，以根据患者的病史预测心力衰竭风险。在训练神经网络之后，作者使用LIME（第二节中讨论的结果解释技术）来识别对每例患者的心力衰竭风险有积极贡献和消极贡献。Devam等人[194]在心脏病数据集上使用了各种XAI技术，目的是向从业者证明XAI的可理解性和可解释性。  
Thimoteo等人[195]进行了一项研究，其目标是帮助巴西更有效地抗击COVID-19大流行。为此，他们使用SHAP（第二节中讨论的一种结果解释技术）来突出COVID-19检测阳性和阴性患者之间的差异（在临床特征方面）。使用SHAP，作者还能够提供用于对COVID-19患者进行分类的训练模型的全局可解释性。Hu等人[196]提出了SHAP的另一种应用，他们使用SHAP来确定对台湾重症流感患者30天死亡率影响最大的个体水平特征。  
有关XAI在医疗保健中的更多应用，请参阅Adadi和Berrada [197]和Pawar等人[198]的调查以及Ahmad等人[199]的教程。  
B。金融  
Sachan等人。[200]提出了一个XAI决策支持系统，通过信念规则库（这是传统的基于IF—THEN规则的系统的扩展）来自动化贷款承销过程。所提出的系统解释了导致给定贷款申请的特定决策的事件链。本文介绍了一个商业案例研究，其中产生了文本解释，以证明拒绝某些贷款申请是合理的。  
Benhamou等人[201]使用梯度提升决策树来分析2020年3月股市崩盘期间的股市。他们的目标是预测使用P2P借贷平台借入信贷时出现的风险。然后，SHAP被用来解释这些预测。更具体地说，他们将SHAP系数为负的借款人（因此被认为是有风险的）和SHAP系数为正的借款人（被认为是无风险的）分组，然后分析每组借款人，以了解他们的信用评分并预测他们未来的行为。  
Nassar等人[185]提出了一个通用框架，通过利用区块链，智能合约，可信预言机和分散存储的功能来实现更值得信赖和可解释的AI。他们的方法涉及轮询多个预测器节点，每个节点运行一个AI模型，并对其模型的结果提供解释，以便逐渐为每个预测器建立声誉。这一框架可以应用于金融部门，例如，用于客户分析、税务审计和欺诈检测。Walambe等人。[184]还提出了一个类似的基于区块链的XAI系统，用于信用风险评估。  
关于XAI在金融领域的使用概述见[186]。  
C.刑事司法  
Loyola-González分析了墨西哥城的犯罪数据库，目的是预测犯罪行为。除了这些研究中使用的典型特征（例如，犯罪的类型，日期，时间和地点），作者还考虑了与天气有关的其他特征。一个“对比模式”的挖掘方法被用来产生解释。更具体地说，使用每个树的特征的随机子集构建具有100个决策树的随机森林。之后，从连接根节点到叶子节点的路径中提取人类可读的模式。最后，作为过滤阶段，根据用户的需求选择一小组模式。  
Zhong等人。[188]提出了一种称为QA判断的技术，用于解释使用强化学习生成的法律的判断预测。这种技术以一种更容易让人类理解的方式可视化预测生成过程。这是通过迭代地提出人类可读的问题，然后根据人类可读的答案预测判断来完成的。  
有关XAI在法律和刑事司法领域应用的更全面讨论，请参阅Deeks [190]和Atkinson等人的调查。  
D.其他域  
除了医疗保健、金融和刑事司法之外，XAI还应用于其他领域。例如，Yang等人。[191]使用2010—2019年洛杉矶地区的数据来探索卡车碰撞造成的伤害与建筑环境因素之间的关系，如人口密度，住宅用地百分比，道路特征，货运发电机（例如，到机场或主要仓库的距离）和道路基础设施（例如，路灯和交通信号的密度）。这种探索是使用梯度提升ML模型和SHAP完成的。在这种情况下，SHAP依赖图被用来突出独立特征和因变量之间的任何重要的非线性关系，从而提供对现有政策的改进的见解。最后，我们提到Sargsyan等人的工作。[192]，他们根据LIME系数对学生进行分类。这使他们能够识别具有相似学术成就指标的学生，从而提供对成功指标的更细致入微的看法。

七.XAI的局限与挑战  
尽管XAI是一个强大的工具，但它在准确性和相关性（第七章A节）、对对手的鲁棒性（第七章B节）以及道德（第七章C节）方面存在一定的局限性。  
A.解释的准确性和相关性  
Payrovnagani等人[181]回顾了42篇关于使用真实世界电子健康记录数据的XAI模型的论文，强调了XAI的潜在挑战和未来方向。医疗专业人士的观点。特别是，作者提到：（i）并非所有XAI技术产生的可视化都可由医学专业人员解释，也不一定提供更好的可解释性;（ii）需要在XAI中纳入更多的纵向特征，以提高模型的稳健性;（iii）缺乏可解释性的通用定义是一个需要解决的持续问题。这些专业人士发现的一些机会包括使用XAI帮助医疗专业人士克服他们的医学知识偏见，变得更加客观。  
Rudin [17]认为，XAI技术不一定对他们试图解释的原始黑盒模型具有完美的保真度。话虽如此，一个不准确和低保真度的XAI技术可能会限制用户对解释的信任，从而也限制了他们对黑盒模型本身的信任。作者还批评了“解释”一词经常被误导的情况。这是因为XAI技术并不总是试图模仿原始模型的计算。这样的技术可能使用完全不同的特征，使得它们可以说不忠实于黑盒的计算。最后，作者认为，在某些情况下，事后的解释只提出了相关的基础计算。  
B。抗不良反应的耐用性  
Slack等人[164]批评了依赖输入扰动的事后解释技术（如LIME和SHAP），表明它们对对抗性攻击不鲁棒。更具体地说，作者使用COMPAS累犯数据集[202]并提出了一种新的脚手架技术，该技术能够通过允许敌对实体制作任意所需的解释来隐藏任何给定分类器的偏见。另一个对LIME和SHAP的批评是由Mittelstadt等人提出的。[165]，他们证明了在处理结构化数据时，他们的解释可能是违反直觉的。  
Kuppa和Le—Khac [203]提出了XAI的分类法，涵盖了与网络安全相关的各种安全属性和威胁模型。作者还提出了一种新的黑盒对抗攻击技术，用于测试基于梯度的XAI方法的一致性，正确性和置信度。使用三个安全相关的数据集（其中一个是表格数据集），作者证明了他们的技术实现了攻击者的目标，这些攻击者配备了真实的世界中使用的威胁模型。他们的技术成功背后的原因之一是解释方法不能准确反映模型的真实状态，从而为对手同时利用模型和解释器打开了一扇窗户。  
C.伦理问题  
除了上述技术问题，道德问题也是XAI面临的一个关键挑战。一般伦理人工智能系统可能存在的歧视问题（如种族主义，性别歧视和年龄歧视）自然会延伸到XAI。过去有许多人工智能系统做出有偏见的决定/行动的例子，包括著名的法庭案件[204]。海丝特和格雷[9]观察到，对于黑人男性来说，身高增加了被定型和被警察拦住的威胁。原则上，任何基于过去人类生成数据的人工智能模型都可能固有地产生类似的偏差。必须小心，使人工智能系统的决定和相关的解释没有任何形式的歧视，偏见和不公平。  
O’Hara [205]强调了人工智能系统的透明度的必要性，以及当人工智能的决定和/或解释被认为具有歧视性时，人类操作员进行干预的要求。作者指出，XAI变得更加重要，因为欧盟的《通用数据保护条例》（GDPR）[206]将解释纳入了其数据保护框架。"解释"一词在叙文71中提到，其中指出"在任何情况下，这种处理[例如，自动分析]应受到适当的保障，其中应包括向数据主体提供的具体信息以及获得人为干预的权利，表达其观点，获得对此类评估后达成的决定的解释并质疑该决定。"GDPR对违规者处以惩罚性罚款，从而提高了人们对公平XAI必要性的认识。

八.XAI的未来发展方向  
A.以人为本的赛  
最近的一些研究开始关注XAI技术的人类可理解性，以确定新研究方向的机会。Wang等人。[207]提出了一个概念框架，用于构建以人为本，决策理论驱动的XAI。作者设计并实验了一个可解释的临床诊断系统，可以诊断重症监护病房的患者。该系统不仅支持临床医生，而且还减少了诊断错误和认知偏差。目标是探索用户如何与使用真实的数据集从模型生成的解释进行交互。基于这些实验，作者得出结论，用户有兴趣使用敏感性分析来测试任何预测诊断的稳定性，通过询问反事实问题，扰动输入值，查看部分依赖图，或通过反事实规则列表阅读。如果规则太长，作者注意到有些用户只是浏览而不是阅读这些规则。作者还发现，用户感兴趣的不仅仅是一种XAI技术，而是多种XAI技术。虽然很多工作都集中在开发各种XAI技术，但需要更多的工作来将不同类型的解释整合到一个单一的解释中。Coppers等人提出了这种技术的一个例子。[208]，旨在更合理地使用翻译建议。  
B。更好的用户界面/体验  
Liao等人[209]采访了20位从事各种人工智能产品的用户体验和设计从业者。基于这些访谈，作者建议将XAI研究的注意力转向问题驱动的框架，以满足用户的需求。作者还指出，受访的从业者正在努力解决算法输出和人类消费解释之间的差距。Rebanal等人[210]提出了一种称为XAIgo的交互式方法，该方法使用问答来向非专家用户解释确定性算法。它首先根据分类法对问题类型进行分类，然后根据一组从算法内部状态表示中提取信息的规则生成答案。作者得出的结论是，非专家用户会问算法相关和概念相关的问题，这意味着基于问答的XAI应该能够为这两种类型的问题提供答案。  
Antoniadi等人[211]对适用于临床决策支持系统的XAI技术进行了文献综述。作者得出结论，XAI文献中缺乏探索临床医生需求的用户研究。他们还得出结论，医学专家很难理解ML输出与他们的解释之间的差距，并强调需要进行跨学科研究，不仅要以透明和可解释的方式解释ML输出，还要从人类相互解释概念的方式中汲取灵感。  
Bruckert等人。[212]认为，在生成解释时必须考虑语义和上下文信息。他们还认为，人类可解释的解释必须阐明逻辑和因果关系。最后，作者指出，在医疗领域实现可解释的机器学习系统必须从不同的学科和专业中汲取灵感。  
Holzinger等人[213]，[214]认为，为了评估解释的质量，必须区分可解释性和因果性。后者被定义为在特定的使用环境中，向用户解释语句达到特定因果理解水平的有效性、效率和满意度的程度。作者还提出了他们所称的系统因果性量表，其目标是提供一个评估工具来衡量解释过程的质量以及解释界面的质量。

C.多模式XAI  
人类可以很容易地理解文本，视频，音频和图像在同一上下文中的含义。相比之下，人工智能处理这种“多模态”信号更具挑战性。近年来，在开发能够进行多模态推理的系统方面取得了进展。多模态的优点是它能够从一个特定的环境中提取和联合收割机关键和全面的信息。各种来源，从而允许更丰富的代表性的问题在手。在文献[215]，[216]中提出了多模态人工智能的几种应用，但尽管它们表现出色，但由于其黑箱性质[217]而缺乏社会接受度。最近，进行了一些研究来解释多模态AI系统[178]，[218]-[222]。其中，我们将讨论Srinivasan等人的作品。[219]和Holzinger等人。[178]因为他们是唯一能够处理表格数据的人-我们调查的重点。  
Srinivasan等人[219]使用GAN为贷款拒绝生成用户友好的解释。除了贷款数据集外，作者还对亚马逊土耳其机器人进行了调查，以了解贷款申请人可接受的解释的性质。Holzinger等人[178]强调，XAI领域具有很高的潜力，有助于更好地理解医学领域的疾病，这可以导致更准确的诊断和合理的疾病预防策略以及更好的治疗选择。为此，从不同来源和模式学习数据可以大大优于传统方法，后者只适用于一种类型的数据。作者激发了对一种新颖的，整体的方法的需求，以建立在最先进的ML研究基础上的自动医疗决策管道，同时将人类整合到循环中。他们演示了如何使用一种称为“反事实图”的交互式和基于探索的可解释性技术来实现这一点。最后，作者强调了在这种综合方法的每个阶段都需要多模态，因为医疗决策主要是由来自大量潜在信号和知识库的各种影响因素指导的。

D.政府和行业的XAI举措  
为了刺激XAI技术的发展，美国国防部高级研究计划局（DARPA）于2017年启动了XAI计划[223]，[224]，其目标是开发能够使智能系统可解释的新技术。该计划涉及来自世界各地的11个研究团队，致力于三个主要战略领域：  
（一）深度解释，其目的是以使其可解释的方式修改深度学习模型；  
（二）建立更多可解释的模型，其目的是通过用其他AI模型补充深度学习来构建透明模型，这些模型本质上是可解释的，而不会大大牺牲AI的性能；  
（三）模型归纳，其目的是把模型当作一个黑盒子，用它来解释它的行为。这三个领域的计划都集中在最终用户身上，他们不一定是机器学习专家。  
对XAI的兴趣也在行业内增加。FICO是美国领先的分析和决策管理技术提供商[225]，于2018年推出了可解释机器学习挑战赛。挑战的目标是创建具有高准确性和可解释性的机器学习模型，以获得信贷风险评估在这一挑战的范围内，Chen等人提出了赢家模型。[226]，这是一个用于信用风险评估的双层可加风险模型。虽然该模型使用线性建模，但它确保所有非线性都是透明和可解释的。另一个在工业层面上模型可解释性的例子是微软的Azure，它利用三种技术：（i）SHAP，用于生成本地解释;（ii）Mimic，用于模仿底层黑盒模型并提供全局解释;（iii）置换特征重要性，用于解释底层模型的整体行为。另一个XAI平台是由Kyndi提出的[228]，这是一家人工智能软件公司，通过自然语言处理和基于图形的技术为政府，金融服务和医疗保健提供解决方案。

九.结论  
可解释人工智能（XAI）文献由于对该主题的兴趣日益增长而迅速扩大。因此，如果没有一张地图来描绘正在解决的XAI问题，解释的模型以及用于提供此类解释的技术，那么浏览这些文献是具有挑战性的。据我们所知，迄今为止，对表格数据感兴趣的研究人员还没有这样的地图，考虑到这些数据的巨大重要性和普及性，这是相当令人惊讶的。这篇文章提供了这样一个地图，涵盖了各种各样的最新XAI研究的情况下，表格数据。更具体地说，我们涵盖了XAI的三个基本问题。  
第一个是模型解释，这需要解释黑盒模型背后的基本逻辑。  
第二个是模型检查，这需要提供底层模型或其结果的某些属性的视觉或文本解释，  
第三个是结果解释，这需要解释模型的结果，给出一个感兴趣的实例来证明模型的决策。  
对于这些基本问题中的每一个，我们涵盖了文献中提出的两类技术。第一类包括模型特定的技术，利用参数和功能的模型，他们的目的是解释，但不能很容易地推广到其他模型。第二种是模型无关技术，原则上可以用于任何机器学习模型，但不能利用模型内部，因为它们只能分析输入输出对。我们提供了一个全面的和最新的调查这些技术，特别是在表格数据的背景下。我们已经仔细注意确保不同技术背后的直觉以清晰的方式沿着说明示例，尽可能使机器学习和人工智能背景有限的读者可以访问本文。最后，我们讨论了XAI的各种应用，局限性和未来的发展方向。我们希望这次调查将帮助研究人员在表格数据集上工作，以浏览这个令人兴奋和快速增长的研究领域。

### 2puss2

#### 2.3小结

// A code block
var foo = 'bar';

#### 2.1方法method

#### 2.2实验exp