ROC特性曲线简介

更新时间:2023-06-07 02:19:26 阅读: 评论:0

接收机特性曲线(Receiver operating characteristic curve)
在信号检测理论,接收机特性曲线,或者ROC,是能够描绘二类分类系统的性能的图形,通过改变二类分类系统的判别阈值。通过绘制true positive在所有positive中的比例(TPR = true positive rate,真阳性率)vs.所有误检(fal positive,假阳性率)在所有negative中的比例(FPR = fal positive rate),得到ROC曲线。TPR称作敏感性。FPR=1-真阴性率TNR。
在信号检测理论中,接收者操作特征(receiver operating characteristic,或者叫ROC曲线)是一种对于灵敏度进行描述的功能图像。ROC曲线可以通过描述真阳性率(TPR)和假阳性率(FPR)来实现。由于是通过比较两个操作特征(TPR和FPR)作为标准,ROC曲线也叫做相关操作特征曲线。
ROC分析提供了选择最优模型与并抛弃非最优模型的工具。最初在二战中由电气工程师和雷达工程师提出,并用来检测战场中的敌方目标,并引入心理学检测刺激的领域。现在在医学、放射、生物统计学、机器学习和机器挖掘等领域得到了应用。
ROC 是通过比较判据变化是操作特性(TPR与FPR)得到的。
基本概念:
一个分类模型(分类器)是一个将一个实例映射到一个特定类的过程。分类器的结果可以是一个实数(连续输出),这些分类器中类的边界必须通过一个阈值检测,举例来说,通过血压来检测一个人是否有高血压,或者它可以作为一个离散的标签表明的类。让我们来考虑一个两类预测问题(双分类器),其结果要么是真(p)要么是假(n)。在双分类器中有4类可能的输出。如果输出的预测是p而真实的结果也是p,那么这就叫做真阳性(TP);然而如果真实的结果是n,则这就叫做假阳性(FP)。相反的来说,一个真阴性(TF)发生在预测结果和实际结果都为n的时候,而假阴性(FF)是当预测输出是n而实际值是p的时候。
为了得到一个现实世界中的恰当的例子,考虑一个检测一个人是否得一种病的测试。一个假阳性就是一个人被测试是有这种病的,但实际却没有的情况。一个假阴性就是一个人被测试是健康的,但实际却是得病的情况。考虑实验,包含P个正实例与N的负实例,四种输出可以通过下面的统计表/混淆矩阵表示。
P+N=P’+N’
ROC空间的4个例子

油烟机的油垢怎么清洗真阳性(TP);命中,hit
正确的肯定
真阴性(TN)
蝶析
正确的否定
假阳性(FP)
错误的肯定,假报警,第一类错误
假阴性(FN):miss
错误的否定,未命中 第二类错误
真阳性率(TPR)
命中率,敏感率,recall
假阳性率(FPR)
错误命中率, fall-out
怎么开通微信
精确度(ACC)
特征 (SPC) 或者真阴性率
阳性预测值(PPV)任成语        precision
阴性预测值(NPV)
假发现率 (FDR)
Matthews相关系数 (MCC)
池昌旭图片
F1评分
Source: Fawcett (2006).
=P
=N

ROC空间
要生成一个ROC曲线,只需要真阳性率(TPR)和假阳性率(FPR),只要改变。TPR(=TP/(TP+FN=P))决定了一个分类器或者一个诊断测试在所有阳性样本中能正确区分的阳性案例的性能。而FPR(=FP/(FP+TN))是决定了在所有阴性的样本中有多少假阳性的判断共同特质。
通过上面的表述,可见TPR反应的是对阳性样本的识别能力;而FPR是对阴性样本的识别能力。
ROC空间将FPRTPR定义为x和y轴,这样就描述了真阳性(获利)和假阳性(成本)之间的博弈。而TPR就可以定义为灵敏度,而FPR就定义为(1-特异度),因此ROC曲线有时候也叫做"灵敏度和1-特异度"图像。每一个预测结果在ROC空间中以一个点代表。
最好的可能预测方式是一个在左上角的点,在ROC空间坐标轴(0,1)点,这个代表着100%灵敏(没有假阴性)和100%特异(没有假阳性)。而(0,1)点被称为完美分类器。一个完全随机预测会得到一条从左下到右上对角线(也叫无识别率线)上的一个点。一个最直观的随机预测的作决定的例子就是抛硬币。随着样本数目的增加,随机分类器的ROC曲线在(0.5,0.5)处集中。
这条斜线将ROC空间划分为两个区域,在这条线的以上的点代表了一个好的分类结果,而在这条线以下的点代表了差的分类结果。注意到,持续差的分类器翻转后就可以得到一个好的分类器。这就是说,不论这种分类器预测了什么,那么就做其反面的决策,从而得到一个更好的结果。
ROC空间中的线
离散分类器,如决策树,产生的是离散的数值或者一个双标签。应用到实例中,这样的分类器最后只会在ROC空间产生单一的点。而一些其他的分类器,如朴素贝叶斯分类器,逻辑回归或者人工神经网络,产生的是实例属于某一类的可能性,对于这些方法,一个阈值就决定了ROC空间中点的位置。举例来说,如果可能值低于或者等于0.8这个阈值就将其认为是阳性的类,而其他的值被认为是阴性类。这样就可以通过画每一个阈值的ROC点来生成一个生成一条曲线。MedCalc-是较好的ROC曲线分析软件。
进一步解释:
ROC用来生成总结性的统计量,常见的有:
ROC曲线与90度的和无辨识线的 intercept。
ROC曲线与无辨识线所包含的面积。
c-统计量/A’,AUC,ROC曲线下的面积。
d’ (d-prime)
h标签C(调和)统计量
检测误差折衷图(Detection error tradeoff graph)
检测误差折衷图作为ROC的一种替代标准,分别在y-x轴绘制FNR(漏检,假阴性)与FPR(假阴性)。这种方法图像在感兴趣区域上使用了更多的图。大部分ROC区域是没有用的,人们更关心靠近y轴的左上角的区域,反之,在DET图中,我们更关心图像左下角的区域。
z-变换
z变换把ROC曲线变成直线。z-变换基于一个0均值,方差为1的正态分布。
曲线下面积:AUC
在使用归一化的单位时,等于分类器把一个随机抽取的正样本比随机抽取的负样本给以更高的排名概率。

本文发布于:2023-06-07 02:19:26,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/fanwen/fan/82/890227.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:曲线   分类器   检测   阳性   预测   结果   分类   空间
相关文章
留言与评论(共有 0 条评论)
   
验证码:
推荐文章
排行榜
Copyright ©2019-2022 Comsenz Inc.Powered by © 专利检索| 网站地图