【论文泛读165】量化 NLP 中的可解释性和分析性能-可解释性权衡的算法

贴一下汇总贴：论文阅读记录

The paper quantifies explainability within the domain of natural language processing and examines algorithms to analyze the performance-explainability trade-off.

一、摘要

医疗保健领域是机器学习中最引人注目的应用领域之一

二、结论

在本研究中,我们对临床文本分类任务中的可解释性和MLE（最大似然估计）方法的实际应用进行了深入探讨.通过构建一个通用评估框架,我们系统梳理了现有可解释性相关概念及其理论基础,并提出了跨任务模型评估指标体系.该体系不仅能够系统地评估不同分类模型的解码质量,包括所呈现属性的真实性和相对敏感度等关键指标,还特别关注了解释质量与模型性能之间的权衡关系.基于此,我们可以为医疗保健领域的NLP从业者提供一个帕累托前沿选择方案,从而实现最佳模型与最优解码方案的有效结合.在这一背景下,对于医疗保健行业的从业者而言,无论是数据科学家还是AutoML开发者,都可以从中获益匪浅:数据科学家能够在构建最佳模型的过程中充分考虑人类认知系统的接受度;而AutoML开发者则可以根据这一量化标准制定优化策略

我们发现可解释的最大似然技术具备良好的可解释性特征。然而其性能表现欠佳，在实际应用中通常不采用。为了完全实现模型可解释性的目标，在某些特殊情况下允许模型质量出现下降是值得考虑的选择。尽管LASSO回归等其他方法能够提供更好的性能表现。通过对莱姆、SHAP值以及真实局部解法之间的直接研究与比较分析，
我们发现莱姆在处理高维数据时存在一定的局限性，
稀疏性指标并不能充分反映模型的真实运行机制。
此外，在探索可视化BERT风格模型的行为方面，
相关研究致力于构建一种能够对黑盒模型进行合理解读的方法。

三、框架

几个具有不同复杂程度和可解释性的分类器：

• 逻辑回归模型（Logistic Regression, LR）
• 随机决策森林（Random Decision Forest, RF）
• DL 8.5版本
• 增强规则系统（Boosted Rule System）
• 贝叶斯规则集合（Bayesian Rule Set）
• 最优分类树模型（Optimal Classification Tree Model）
• CORELS算法
• BigBird框架

Text Perturbation 算法：