roc是什么国家

为什么使⽤ROC？什么是AUC

ROC的全名叫做ReceiverOperatingCharacteristic，其主要分析⼯具是⼀个画在⼆维平⾯上的曲线——ROC曲线。

平⾯的横坐标是falpositiverate(FPR)，纵坐标是truepositiverate(TPR)。对某个分类器⽽⾔，我们可以根据其在

测试样本上的表现得到⼀个TPR和FPR点对。这样，此分类器就可以映射成ROC平⾯上的⼀个点。调整这个分类器分类

时候使⽤的阈值，我们就可以得到⼀个经过(0,0)，(1,1)的曲线，这就是此分类器的ROC曲线。⼀般情况下，这个曲线

都应该处于(0,0)和(1,1)连线的上⽅。因为(0,0)和(1,1)连线形成的ROC曲线实际上代表的是⼀个随机分类器。如果很

不幸，你得到⼀个位于此直线下⽅的分类器的话，⼀个直观的补救办法就是把所有的预测结果反向，即：分类器输出结果

为正类，则最终分类的结果为负类，反之，则为正类。虽然，⽤ROC曲线来表⽰分类器的性能很直观好⽤。可是，⼈们总是

希望能有⼀个数值来标志分类器的好坏。于是AreaUnderrocCurve(AUC)就出现了。顾名思义，AUC的值就是处于ROC曲线下⽅的那部分⾯积的⼤⼩。通

常，AUC的值介于0.5到1.0之间，较⼤的AUC代表了较好的性能。AUC（AreaUnderrocCurve）是⼀种⽤来度量分类模型好坏的⼀个标准。

ROC⽰例曲线（⼆分类问题）：

解读ROC图的⼀些概念定义:：

真正（TruePositive,TP）被模型预测为正的正样本；

假负（FalNegative,FN）被模型预测为负的正样本；

假正（FalPositive,FP）被模型预测为正的负样本；

真负（TrueNegative,TN）被模型预测为负的负样本。

为什么使⽤ROC曲线

既然已经这么多评价标准，为什么还要使⽤ROC和AUC呢？因为ROC曲线有个很好的特性：当测试集中的正负样本的分布变化的时候，ROC曲

线能够保持不变。在实际的数据集中经常会出现类不平衡（classimbalance）现象，即负样本⽐正样本多很多（或者相反），⽽且测试数据中的

正负样本的分布也可能随着时间变化。下图是ROC曲线和Precision-Recall曲线的对⽐：

在上图中，(a)和(c)为ROC曲线，(b)和(d)为Precision-Recall曲线。(a)和(b)展⽰的是分类其在原始测试集（正负样本分布平衡）的结果，(c)和

(d)是将测试集中负样本的数量增加到原来的10倍后，分类器的结果。可以明显的看出，ROC曲线基本保持原貌，⽽Precision-Recall曲线则变化

较⼤。

【Precision/Recall曲线】

要评价信息检索系统的性能⽔平，就必须在⼀个检索系统中进⾏多次检索。每进⾏⼀次检索，都计算其查准率和查全率，并以此作为坐标值，在平

⾯坐标图上标⽰出来。通过⼤量的检索，就可以得到检索系统的性能曲线。

Precision/Recall曲线⼀般是以每⼀次计算的查全率为横坐标，每⼀次计算的查准率为纵坐标。如下图所⽰：

该图是由100次检索得到的，由图可知：在查全率和查准率之间存在着相反的相互依赖关系–如果提⾼输出的查全率，就会降低其查准率

AUC值

AUC（AreaUnderCurve）被定义为ROC曲线下的⾯积，显然这个⾯积的数值不会⼤于1。⼜由于ROC曲线⼀般都处于y=x这条直线的上⽅，

所以AUC的取值范围在0.5和1之间。使⽤AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，⽽作为⼀个

数值，对应AUC更⼤的分类器效果更好。