【20210914】【机器深度学习】模型评价指标:精确率、召回率、特异性、敏感性、F1-s。。。
⼀、区分精确率、召回率和特异性、敏感性
在数据科学中,查看精确率和召回率来评估构建的模型是⼗分常见的。⽽在医学领域,通常使⽤特异性和敏感性来评估医学测试。这⼀点在兆观的论⽂、以及 xxx院的沟通过程中,也注意到这⼀点了~
这些指标有很⼤的相似之处,但也有些许区别,所以关键在于:不同的领域有不同的评价指标,在给出结果的时候,要考虑对⽅想要看的指标是什么?或者说,在对⽅的领域内,权威公认的测试指标是什么?
⼆、各个指标的定义
先给出⼀个混淆矩阵~mouth什么意思
carven
0. 准确率(Accuracy)
物理意义:在所有预测的样本中,有多少预测正确?
六级成绩查询时间
1. 精确率(Precision, 评价查准)
物理意义:在所有预测的正样本中,有多少的真的正样本?
2. 召回率(Recall, 评价查全)
物理意义:在所有的真实正样本中,有多少被预测成正样本?
3. 特异性(Specificity, 评价误诊)
物理意义:在所有的真实负样本中,有多少被预测成负样本?
ammonia4. 敏感性(Sensitivity, 评价漏诊)
过秦论原文及翻译物理意义:在所有的真实正样本中,有多少被预测成正样本?
可以看出,敏感性和召回率是⼀样的。
应用英语专业⼼得:⼯作中的睡眠呼吸异常检测只关注了精确率和召回率,⽽没有关注特异性和敏感性。换⾔之,忽略特异性的同时,没有太去关注对负样本的检测结果,因为精确率和召回率只关注对正样本的检测结果,⽽可能存在⾼精确率、⾼召回率但同时有低特异性的分类器,如下图:
提示英文
(但可能影响有没那么⼤,因为我们实际应⽤的场景,负样本的个数远超正样本的个数,和这个分类器⼜不完全⼀样)
(参考:)
5. F1-score
物理意义:Precision 和 Recall 的调和平均数
(参考:)
6. ROC曲线
ROC(Receiver Operation Characteristic) ⼜叫接受者操作特征曲线,物理意义:在特定的刺激条件下,以被试在不同判断标准下所得的虚报概率为横坐标,以击中概率为纵坐标,画得的各点的连线。
ROC曲线的横坐标为假正例率FPR,纵坐标为真正例率TPR。曲线距离左上⾓越近,表明分类器效果越好。horizontally
cg是什么意思的
7. AUCaluminum
AUC(Area under roc curve),物理意义:ROC曲线下的⾯积。AUC越⼤,分类器分类效果越好。
(参考:)
(参考:)