机器学习中F值（F-Measure）、准确率（Precision）、召回率（Recall）
在机器学习、数据挖掘、推荐系统完成建模之后，需要对模型的效果做评价。
业内⽬前常常采⽤的评价指标有准确率(Precision)、召回率(Recall)、F值(F-Measure)等，下图是不同机器学习算法的评价指标。下⽂讲对其中某些指标做简要介绍。
本⽂针对⼆元分类器！
在介绍指标前必须先了解“混淆矩阵”：
True Positive(真正，TP)：将正类预测为正类数
True Negative(真负，TN)：将负类预测为负类数鸭腿炖土豆
Fal Positive(假正，FP)：将负类预测为正类数误报 (Type I error)
Fal Negative(假负，FN)：将正类预测为负类数→漏报 (Type II error)
注：准确率是我们最常见的评价指标，⽽且很容易理解，就是被分对的样本数除以所有的样本数，通常来说，正确率越⾼，分类器越好。
准确率确实是⼀个很好很直观的评价指标，但是有时候准确率⾼并不能代表⼀个算法就好。⽐如某个地区某天地震的预测，假设我们有⼀堆的特征作为地震分类的属性，类别只有两个：0：不发⽣地震、1：发⽣地震。⼀个不加思考的分类器，对每⼀个测试⽤例都将类别划分为0，那那么它就可能达到99%的准确率，但真的地震来临时，这个分类器毫⽆察觉，这个分类带来的损失是巨⼤的。为什么99%的准确率的分类器却不是我们想要的，因为这⾥数据分布不均衡，类别1的数据太少，完全错分类别1依然可以达到很⾼的准确率却忽视了我们关注的东西。再举个例⼦说明下。在正负样本不
800字检讨1的数据太少，完全错分类别1依然可以达到很⾼的准确率却忽视了我们关注的东西。再举个例⼦说明下。在正负样本不平衡的情况下，准确率这个评价指标有很⼤的缺陷。⽐如在互联⽹⼴告⾥⾯，点击的数量是很少的，⼀般只有千分之⼏，如果⽤acc，即使全部预测成负类（不点击）acc也有99% 以上，没有意义。因此，单纯靠准确率来评价⼀个算法模型是远远不够科学全⾯的。
2、错误率（Error rate）
错误率则与准确率相反，描述被分类器错分的⽐例，
error rate = (FP+FN)/(TP+TN+FP+FN)，对某⼀个实例来说，分对与分错是互斥事件，所以accuracy =1 - error rate。
诺的组词>华为手机自动重启3、灵敏度（nsitive）
nsitive = TP/P，表⽰的是所有正例中被分对的⽐例，衡量了分类器对正例的识别能⼒。
4、特效度（nsitive）
specificity = TN/N，表⽰的是所有负例中被分对的⽐例，衡量了分类器对负例的识别能⼒。
5、精确率、精度（Precision）
精确率(precision)定义为：
表⽰被分为正例的⽰例中实际为正例的⽐例。
6、召回率（recall）
召回率是覆盖⾯的度量，度量有多个正例被分为正例，recall=TP/(TP+FN)=TP/P=nsitive，可以看到召回率与灵敏度是⼀样的。
7、综合评价指标（F-Measure）
P和R指标有时候会出现的⽭盾的情况，这样就需要综合考虑他们，最常见的⽅法就是F-Measure（⼜称为F-Score）。F-Measure是Precision和Recall加权调和平均：
可知F1综合了P和R的结果，当F1较⾼时则能说明试验⽅法⽐较有效。
8、其他评价指标
计算速度：分类器训练和预测需要的时间；
鲁棒性：处理缺失值和异常值的能⼒；
可扩展性：处理⼤数据集的能⼒；
可解释性：分类器的预测标准的可理解性，像决策树产⽣的规则就是很容易理解的，⽽神经⽹络的⼀堆参数就不好理解，我们只好把它看成⼀个⿊盒⼦。
下⾯来看⼀下ROC和PR曲线（以下内容为⾃⼰总结）：
爬山日记1、ROC曲线：
ROC（Receiver Operating Characteristic）曲线是以假正率（FP_rate）和假负率（TP_rate）为轴的曲线，ROC曲线下⾯的⾯积我们叫做AUC，如下图所⽰：
（1）曲线与FP_rate轴围成的⾯积（记作AUC）越⼤，说明性能越好，即图上L2曲线对应的性能优于曲线L1对应的性能。即：曲线越靠近A点（左上⽅）性能越好，曲线越靠近B点（右下⽅）曲线性能越差。
（2）A点是最完美的performance点，B处是性能最差点。
汽车acc
（3）位于C-D线上的点说明算法性能和random猜测是⼀样的–如C、D、E点。位于C-D之上（即曲线位于⽩⾊的三⾓形内）说明算法性能优于随机猜测–如G点，位于C-D之下（即曲线位于灰⾊的三⾓形内）说明算法性能差于随机猜测–如F点。
（4）虽然ROC曲线相⽐较于Precision和Recall等衡量指标更加合理，但是其在⾼不平衡数据条件下的的表现仍然过于理想，不能够很好的展⽰实际情况。
2、PR曲线：
即，PR（Precision-Recall）曲线。
举个例⼦（例⼦来⾃Paper：Learning from eImbalanced Data）：
狗拉肚子怎么办假设N_c>>P_c（即Negative的数量远远⼤于Positive的数量），若FP很⼤，即有很多N的sample被预测为P，因为
，因此FP_rate的值仍然很⼩（如果利⽤ROC曲线则会判断其性能很好，但是实际上其性能并不好），但是如果利⽤PR，因为Precision综合考虑了TP和FP的值，因此在极度不平衡的数据下（Positive的样本较少），PR曲线可能⽐ROC曲线更实⽤。
来源⽹络，侵权删除
夏天开花的植物
