金融风控项目各钟指标用途汇总

文章目录

• • • WOE 编码：
    • 卡方值
    • IV 值
    • PSI指标：
    • 通过率
    • 坏账率
    • 混淆矩阵
    • 错误率：
    • 精度或正确率：
    • 召回率
    • 精准率
    • F1指标：
    • K-L散度：
    • K-S曲线：
    • K-S值：
    • 几率：
    • 汇总：

WOE 编码：

就是对坏样本分布与好样本分布的比值再进行对数变换的结果

在这里插入图片描述

WOE 编码可以表示变量的预测能力,WOE 越大，概率值越大。

WOE 值可以衡量不同类别的样本分布的差异情况

• Bad i /Bad total -Good i /Good total 可以衡量差异的重要程度

卡方值

卡方值的大小衡量相邻区间中类分布的差异情况

• 如果卡方值较小，表明该相邻区间的类分布情况非常相似，可以进行区间合并。
• 反之，卡方值越大，则表明该相邻区间的类分布情况不同，不能进行区间合并操作

IV 值

IV 值：就是对称化的 K-L 距离，可以衡量类别分布的差异情况，反映输入变量对标签的预测能力

PSI指标：

PSI 指标其实是一种模型评估指标，一方面可以用于评估模型上线后预测结果与建模时的结果是否存在偏差；另一方面也可以用于变量选择，衡量变量的稳定性

通过率

通过率定义为模型判断为好样本的数量占总样本数的比例

坏账率

坏账率定义为模型判断为好样本中真正的坏样本所占的比例

混淆矩阵

定义坏样本为正样本，其中 TP 表示正确拒绝的样本数；FN 表示漏报的样本数即被错误准入的样本数；TN 表示正确准入的样数；FP 表示误报的样本数即被错误拒绝的样本数。

错误率：

精度或正确率：

召回率

召回率衡量了在所有正例中模型正确预测的概率，召回率与漏报率相对，即召回率越高，漏报率越小。

精准率

精准率衡量了所有模型预测为正例的样本中真实为正例的概
率，精准率与误报率相对，即精准率越高，误报率越少。

每个分类模型的召回率与精准率相等即为该模型的 BEP，BEP 越大，则模型的性能越好。

F1指标：

F1 指标可以更方便地完成模型的性能度量

K-L散度：

K-L 散度是两个随机分布之间距离的度量

提升图比较的是采用模型与不采用模型带来的改善，即采用模型后对坏样本识别能力的提升程度

K-S曲线：

K-S 曲线的本质就是坏样本的洛伦兹曲线和好样本的洛伦兹曲线

K-S值：

KS 值反应了模型对好坏样本的区分能力，KS 值越大表示对好坏样本的区分能力越强。

几率：

Odds(几率) 可以衡量模型预测结果为正例可能性的大小

模型评估指标决定了模型上线使用的生命周期。

汇总：

模型上线监控指标：