最后更新: 2025-02-17 14:30 查看: 264 次纠错评论(0) 课件开VIP

准确率、召回率、精确率和相关指标

真正例、假正例和假负例用于计算评估模型的几个实用指标。哪些评估指标最有意义，取决于具体模型和具体任务、不同错误分类的代价，以及数据集是平衡的还是不平衡的。

本部分中的所有指标均基于单个固定阈值计算得出，并且会随阈值的变化而变化。很多时候，用户会调整阈值以优化其中某个指标。

##准确率

准确性是指所有分类（无论是正类还是负类）正确分类的比例。其数学定义为：

$$
\text { Accuracy }=\frac{\text { correct classifications }}{\text { total classifications }}=\frac{T P+T N}{T P+T N+F P+F N}
$$

在垃圾邮件分类示例中，准确度衡量的是所有电子邮件正确分类所占的比例。
完美的模型没有假正例和假负例，因此准确率为 1.0 ，即 $100 \%$ 。
由于精度包含混淆矩阵中的所有四种结果（TP，FP，TN，FN），因此在数据集平衡且两个类别中的示例数量相近的情况下，精度可以用作衡量模型质量的粗略指标。因此，它通常是执行通用或末指定任务的通用或未指定模型使用的默认评估指标。

不过，如果数据集不平衡，或者一种错误（假负例或假正例）的代价高于另一种错误（大多数实际应用中都是如此），则最好改为针对其他指标进行优化。

对于严重不均衡的数据集（其中一个类别出现的频率非常低，例如 $1 \%$ ），如果模型 $100 \%$ 都预测为负类，则准确率得分为 $99 \%$ ，尽管该模型毫无用处。

## 召回率或真正例率

真正例率（TPR），即所有实际正例被正确分类为正例的比例，也称为召回率。
在数学上，召回率的定义为：

$$
\text { Recall }(\text { or } TPR)=\frac{\text { correctly classified actual positives }}{\text { all actual positives }}=\frac{T P}{T P+F N}
$$

假负例是指被误分类为负例的实际正例，因此会出现在分母中。在垃圾邮件分类示例中，召回率衡量的是被正确分类为垃圾邮件的垃圾邮件电子邮件的比例。因此，召回率的另一个名称是检测概率：它可以回答＂此模型检测到垃圾邮件的比例是多少？＂这一问题。

假设一个完美的模型，其假正例率为 0 ，因此召回率（TPR）为 1.0 ，也就是说，检测率为 $100 \%$ 。
在实际正例数量非常少（例如总共 1－2 个样本）的不均衡数据集中，召回率作为指标的意义不大，作用不大。

## 假正例率

假正例率（FPR）是指被错误地归类为正例的所有实际负例所占的比例，也称为误报概率。其数学定义为：

$$
FPR=\frac{\text { incorrectly classified actual negatives }}{\text { all actual negatives }}=\frac{F P}{F P+T N}
$$

假正例是被错误分类的实际负例，因此会出现在分母中。在垃圾邮件分类示例中，FPR 用于衡量被错误分类为垃圾邮件的合法电子邮件的比例，或模型的误报率。

完美的模型没有假正例，因此 FPR 为 0.0 ，也就是说，假警报率为 $0 \%$ 。
在实际负例数量非常少（例如总共 1－2 个示例）的不平衡数据集中，FPR 作为一个指标就没有那么有意义和实用。

## 精确率
 
精确率是指模型所有正分类分类中实际正分类的比例。在数学上，其定义为：

$$
\text { Precision }=\frac{\text { correctly classified actual positives }}{\text { everything classified as positive }}=\frac{T P}{T P+F P}
$$

在垃圾邮件分类示例中，精确率衡量的是被归类为垃圾邮件的电子邮件中实际是垃圾邮件的比例。
假设有一个完美的模型，则该模型没有假正例，因此精确率为 1.0 。
在实际正例数量非常少（例如总共 1－2 个示例）的不平衡数据集中，精确率作为指标的意义和实用性较低。

随着假正例的减少，精确率会提高；随着假负例的减少，召回率会提高。但正如前面所述，提高分类阈值往往会减少假正例的数量并增加假负例的数量，而降低阈值则会产生相反的效果。因此，精确率和召回率通常呈反函数关系，其中一个提高会反过另一个。

科数题库(单机版) 会议室预约系统(book)

今日还可看 0 篇未注册用户每天查看4篇，注册用户每天8篇，开通VIP会员无限制查看。

免费注册

《高等数学》难点解析

高数教程 泰勒公式切线与法线切平面与法平面驻点·拐点·极值点·零点间断点渐进线瑕积分欧拉方程伯努利方程 Abel 收敛定理偏导数的几何意义偏导数的几何意义梯度数量场与向量场多元函数极值拉格朗日算子通量与散度环流量与旋度格林公式高斯公式斯托克斯公式三大公式比较傅里叶级数极坐标微元点法式方程变上限定积分 X型计算面积 Y型计算面积微分的意义渐近线间断点 y''+py'+qy=f(x)方程高斯黎曼傅里叶变换(复数) 拉普拉斯变换(复数)

《线性代数》难点解析

线代教程 近世代数对数学的整体思考线性的意义矩阵乘法(列视角) 矩阵乘法(行视角) 矩阵左乘矩阵右乘逆矩阵求解方程组阶梯形矩阵的求法方程组解的判定四阶行列式的计算线性变换的意义线性空间向量组的等价线性空间的几何意义基础解系的求法施密特正交化特征值与特征向量的意义矩阵相似的几何意义矩阵可对角化的理解秩的意义(向量版) 秩的意义(方程版) 二次型的意义

《概率论与数理统计》难点解析

概率教程 置信区间与上a分位数概率中的“取”与“放” 贝叶斯公式全概率公式泊松分布指数分布伽玛分布二维密度图的意义卷积的意义相关系数的意义 k阶矩是与矩母函数卡方分布的作用单正态区间估计理解假设检验理解切比雪夫不等式中心极限定理

上一篇：阈值和混淆矩阵

下一篇： ROC 和曲线下面积

本文对您是否有用？有用 (0) 无用 (0)