混淆矩阵(ConfusionMatrix)分析
Content
无刺蔷薇ConfusionMatrix
Example
Talbe ofconfusion
Preference
Confusion Matrix
在机器学习领域,混淆矩阵(confusion matrix),⼜称为可能性表格或是错误矩阵。它是⼀种特定的矩阵⽤来呈现算法性能的可视化效果,通常是监督学习(⾮监督学习,通常⽤匹配矩阵:matching matrix)。其每⼀列代表预测值,每⼀⾏代表的是实际的类别。这个名字来源于它可以⾮常容易的表明多个类别是否有混淆(也就是⼀个class被预测成另⼀个class)。
Example塑身衣的效果>颜回的故事
假设有⼀个⽤来对猫(cats)、狗(dogs)、兔⼦(rabbits)进⾏分类的系统,混淆矩阵就是为了进⼀步分析性能⽽对该算法测试结果做出的总结。假设总共有 27 只动物:8只猫, 6条狗, 13只兔⼦。结果的混淆矩阵如下图:
未来将来在这个混淆矩阵中,实际有 8只猫,但是系统将其中3只预测成了狗;对于 6条狗,其中有 1条被预测成了兔⼦,2条被预测成了猫。从混淆矩阵中我们可以看出系统对于区分猫和狗存在⼀些问题,但是区分兔⼦和其他动物的效果还是不错的。所有正确的预测结果都在对⾓线上,所以从混淆矩阵中可以很⽅便直观的看出哪⾥有错误,因为他们呈现在对⾓线外⾯。
Table of confusion
因数和倍数的关系
在预测分析中,混淆表格(有时候也称为混淆矩阵),是由fal positives,falnegatives,true positives和true negatives组成的两⾏两列的表格。它允许我们做出更多的分析,⽽不仅仅是局限在正确率。准确率对于分类器的性能分析来说,并不是⼀个很好地衡量指标,因为如果数据集不平衡(每⼀类的数据样本数量相差太⼤),很可能会出现误导性的结果。例如,如果在⼀个数据集中有95只猫,但是只有5条狗,那么某些分类器很可能偏向于将所有的样本预测成猫。整体准确率为95%,但是实际上该分类器对猫的识别率是100%,⽽对狗的识别率是0%。
对于上⾯的混淆矩阵,其对应的对猫这个类别的混淆表格如下:
假定⼀个实验有 P个positive实例,在某些条件下有 N 个negative实例。那么上⾯这四个输出可以⽤下⾯的偶然性表格(或混淆矩阵)来表⽰:
公式陈列、定义如下:
人固有一死True positive(TP)eqv. with hit懒姑娘的幸福生活
True negative(TN)eqv. with correct rejection
Fal positive(FP)eqv. with fal alarm, Type I error
Fal negative(FN)eqv. with miss, Type II error
家常鸡翅最简单做法TPR = TP/P = TP/(TP + FN) Sensitivity or true positive rate(TPR)
eqv. with hit rate, recall
Specificity(SPC)or true negative rate(TNR)SPC = TN/N = TN/(FP + TN) Precision or positive prediction value(PPV)PPV = TP/(TP + FP) Negative predictive value(NPV)NPV = TN/(TN + FN)
Fall-out or fal positive rate(FPR)FPR = FP/N = FP/(FP + TN) Fal discovery rate(FDR)FDR = FP/(FP + TP) = 1 - PPV Miss Rate or Fal Negative Rate(FNR)FNR = FN/P = FN/(FN + TP) Accuracy(ACC)ACC = (TP + TN)/(P + N)
Preference