深度学习常⽤评价指标
评价指标：
准确率 （Accuracy），混淆矩阵 （Confusion Matrix），精确率（Precision），召回率（Recall），平均正确率（AP），mean Average Precision(mAP)，交除并（IoU），ROC + AUC，⾮极⼤值抑制（NMS）。宝塔简笔画
1、准确率 （Accuracy）
汕头美食攻略
分对的样本数除以所有的样本数 ，即：准确（分类）率 = 正确预测的正反例数 / 总数。
淘宝店铺租赁
准确率⼀般⽤来评估模型的全局准确程度，不能包含太多信息，⽆法全⾯评价⼀个模型性能。
2、混淆矩阵 （Confusion Matrix）
混淆矩阵中的横轴是模型预测的类别数量统计，纵轴是数据真实标签的数量统计。今日简史
对⾓线，表⽰模型预测和数据标签⼀致的数⽬，所以对⾓线之和除以测试集总数就是准确率。对⾓线上数字越⼤越好，在可视化结果中颜⾊越深，说明模型在该类的预测准确率越⾼。如果按⾏来看，每⾏不在对⾓线位置的就是错误预测的类别。总的来说，我们希望对⾓线越⾼越好，⾮对⾓线越低越好。
3、精确率（Precision）与召回率（Recall）
⼀些相关的定义。假设现在有这样⼀个测试集，测试集中的图⽚只由⼤雁和飞机两种图⽚组成，假设你的分类系统最终的⽬的是：能取出测试集中所有飞机的图⽚，⽽不是⼤雁的图⽚。
True positives : 正样本被正确识别为正样本，飞机的图⽚被正确的识别成了飞机。
True negatives: 负样本被正确识别为负样本，⼤雁的图⽚没有被识别出来，系统正确地认为它们是⼤雁。
四个自信指的是什么
Fal positives: 假的正样本，即负样本被错误识别为正样本，⼤雁的图⽚被错误地识别成了飞机。
春节优秀作文
Fal negatives: 假的负样本，即正样本被错误识别为负样本，飞机的图⽚没有被识别出来，系统错误地认为它们是⼤雁。
Precision其实就是在识别出来的图⽚中，True positives所占的⽐率。也就是本假设中，所有被识别出来的飞机中，真正的飞机所占的⽐例。
Recall 是测试集中所有正样本样例中，被正确识别为正样本的⽐例。也就是本假设中，被正确识别出来的飞机个数与测试集中所有真实飞机的个数的⽐值。
Precision-recall 曲线：改变识别阈值，使得系统依次能够识别前K张图⽚，阈值的变化同时会导致Precision与Recall值发⽣变化，从⽽得到曲线。
如果⼀个分类器的性能⽐较好，那么它应该有如下的表现：在Recall值增长的同时，Precision的值保持在⼀个很⾼的⽔平。⽽性能⽐较差的分类器可能会损失很多Precision值才能换来Recall值的提⾼。通常情况下，⽂章中都会使⽤Precision-recall曲线，来显⽰出分类器在Precision与Recall之间的权衡。
4、平均精度（Average-Precision，AP）与 mean Average Precision(mAP)
AP就是Precision-recall 曲线下⾯的⾯积，通常来说⼀个越好的分类器，AP值越⾼。
mAP是多个类别AP的平均值。这个mean的意思是对每个类的AP再求平均，得到的就是mAP的值，mAP的⼤⼩⼀定在[0,1]区间，越⼤越好。该指标是⽬标检测算法中最重要的⼀个。
在正样本⾮常少的情况下，PR表现的效果会更好。
5、IoU
IoU这⼀值，可以理解为系统预测出来的框与原来图⽚中标记的框的重合程度。 计算⽅法即检测结果Detection Result与 Ground Truth 的交集⽐上它们的并集，即为检测的准确率。
IOU正是表达这种bounding box和groundtruth的差异的指标：
中国农业大学网络教育学院6、ROC（Receiver Operating Characteristic）曲线与AUC（Area Under Curve）
ROC曲线：
横坐标：假正率(Fal positive rate， FPR)，FPR = FP / [ FP + TN] ，代表所有负样本中错误预测为正样本的概率，假警报率；
纵坐标：真正率(True positive rate， TPR)，TPR = TP / [ TP + FN] ，代表所有正样本中预测正确的概率，命中率。
对⾓线对应于随机猜测模型，⽽（0,1）对应于所有整理排在所有反例之前的理想模型。曲线越接近左上⾓，分类器的性能越好。
ROC曲线有个很好的特性：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变。在实际的数据集中经常会出现类不平衡（class imbalance）现象，即负样本⽐正样本多很多（或者相反），⽽且测试数据中的正负样本的分布也可能随着时间变化。
ROC曲线绘制：
（1）根据每个测试样本属于正样本的概率值从⼤到⼩排序；
（2）从⾼到低，依次将“Score”值作为阈值threshold，当测试样本属于正样本的概率⼤于或等于这个threshold时，我们认为它为正样本，否则为负样本；
（3）每次选取⼀个不同的threshold，我们就可以得到⼀组FPR和TPR，即ROC曲线上的⼀点。
当我们将threshold设置为1和0时，分别可以得到ROC曲线上的(0,0)和(1,1)两个点。将这些(FPR,TPR)对连接起来，就得到了ROC 曲线。当threshold取值越多，ROC曲线越平滑。
AUC（Area Under Curve）即为ROC曲线下的⾯积。AUC越接近于1，分类器性能越好。
物理意义：⾸先AUC值是⼀个概率值，当你随机挑选⼀个正样本以及⼀个负样本，当前的分类算法根据计算得到的Score值将这个正样本排在负样本前⾯的概率就是AUC值。当然，AUC值越⼤，当前的分类算法越有可能将正样本排在负样本前⾯，即能够更好的分类。
计算公式：就是求曲线下矩形⾯积。
7、PR曲线和ROC曲线⽐较
ROC曲线特点：
（1）优点：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变。因为TPR聚焦于正例，FPR聚焦于与负例，使其成为⼀个⽐较均衡的评估⽅法。
在实际的数据集中经常会出现类不平衡（class imbalance）现象，即负样本⽐正样本多很多（或者相反），⽽且测试数据中的正负样本的分布也可能随着时间变化。
（2）缺点：上⽂提到ROC曲线的优点是不会随着类别分布的改变⽽改变，但这在某种程度上也是其缺点。因为负例N增加了很多，⽽曲线却没变，这等于产⽣了⼤量FP。像信息检索中如果主要关⼼正例的预测准确性的话，这就不可接受了。在类别不平衡的背景下，负例的数⽬众多致使FPR的增长不明显，导致ROC曲线呈现⼀个过分乐观的效果估计。ROC曲线的横轴采⽤FPR，根据FPR ，当负例N的数量远超正例P时，FP的⼤幅增长只能换来FPR的微⼩改变。结果是虽然⼤量负例被错判成正例，在ROC曲线上却⽆法直观地看出来。（当然也可以只分析ROC曲线左边⼀⼩段）
PR曲线：
（1）PR曲线使⽤了Precision，因此PR曲线的两个指标都聚焦于正例。类别不平衡问题中由于主要关⼼正例，所以在此情况下PR曲线被⼴泛认为优于ROC曲线。犀牛怎么画
使⽤场景：
1. ROC曲线由于兼顾正例与负例，所以适⽤于评估分类器的整体性能，相⽐⽽⾔PR曲线完全聚焦于正例。
2. 如果有多份数据且存在不同的类别分布，⽐如信⽤卡欺诈问题中每个⽉正例和负例的⽐例可能都不相同，这时候如果只想单纯地⽐较
分类器的性能且剔除类别分布改变的影响，则ROC曲线⽐较适合，因为类别分布改变可能使得PR曲线发⽣变化时好时坏，这种时候难以进⾏模型⽐较；反之，如果想测试不同类别分布下对分类器的性能的影响，则PR曲线⽐较适合。
3. 如果想要评估在相同的类别分布下正例的预测情况，则宜选PR曲线。
4. 类别不平衡问题中，ROC曲线通常会给出⼀个乐观的效果估计，所以⼤部分时候还是PR曲线更好。
5. 最后可以根据具体的应⽤，在曲线上找到最优的点，得到相对应的precision，recall，f1 score等指标，去调整模型的阈值，从⽽得
到⼀个符合具体应⽤的模型。
8、⾮极⼤值抑制（NMS）
Non-Maximum Suppression就是需要根据score矩阵和region的坐标信息，从中找到置信度⽐较⾼的bounding box。对于有重叠在⼀起的预测框，只保留得分最⾼的那个。
（1）NMS计算出每⼀个bounding box的⾯积，然后根据score进⾏排序，把score最⼤的bounding box作为队列中⾸个要⽐较的对象；
（2）计算其余bounding box与当前最⼤score与box的IoU，去除IoU⼤于设定的阈值的bounding box，保留⼩的IoU得预测框；
（3）然后重复上⾯的过程，直⾄候选bounding box为空。
最终，检测了bounding box的过程中有两个阈值，⼀个就是IoU，另⼀个是在过程之后，从候选的bounding box中剔除score⼩于阈值的bounding box。需要注意的是：Non-Maximum Suppression⼀次处理⼀个类别，如果有N个类别，Non-Maximum Suppression 就需要执⾏N次。
