深度学习:混淆矩阵,准确率,top1,top5,每一类的准确率

更新时间:2023-06-11 18:41:56 阅读: 评论:0

深度学习:混淆矩阵,准确率,top1,top5,每⼀类的准确率⼏个概念
1)正确率(accuracy)
正确率是我们最常见的评价指标,accuracy = (TP+TN)/(P+N),这个很容易理解,就是被分对的样本数除以所有的样本数,通常来说,正确率越⾼,分类器越好;
2)错误率(error rate)
错误率则与正确率相反,描述被分类器错分的⽐例,error rate = (FP+FN)/(P+N),对某⼀个实例来说,分对与分错是互斥事件,所以accuracy =1 - error rate;
3)灵敏度(nsitive)
nsitive = TP/P,表⽰的是所有正例中被分对的⽐例,衡量了分类器对正例的识别能⼒;
4)特效度(specificity)
specificity = TN/N,表⽰的是所有负例中被分对的⽐例,衡量了分类器对负例的识别能⼒;
5)精度(precision)
精度是精确性的度量,表⽰被分为正例的⽰例中实际为正例的⽐例,precision=TP/(TP+FP);
6)召回率(recall)
召回率是覆盖⾯的度量,度量有多个正例被分为正例,recall=TP/(TP+FN)=TP/P=nsitive,可以看到召回率与灵敏度是⼀样的。
TP(True Positive): 真实为0,预测也为0
FN(Fal Negative): 真实为0,预测为1
FP(Fal Positive): 真实为1,预测为0
证明书怎么写范文TN(True Negative): 真实为1,预测也为1
女性英语
FN:Fal Negative,被判定为负样本,但事实上是正样本。
FP:Fal Positive,被判定为正样本,但事实上是负样本。
TN:True Negative,被判定为负样本,事实上也是负样本。
TP:True Positive,被判定为正样本,事实上也是正样本。
accuracy(总体准确率)
:分类模型总体判断的准确率(包括了所有class的总体准确率)
precision(单⼀类准确率) : 预测为0的准确率
狗英语怎么写
回归率 : 真实为0的准确率
: 真实为1的准确率
: 预测为1的准确率
: 对于某个分类,综合了Precision和Recall的⼀个判断指标,F1-Score的值是从0到1的,1是最好,0是最差
: 另外⼀个综合Precision和Recall的标准,F1-Score的变形
混淆矩阵
在机器学习中尤其是统计分类中,混淆矩阵(confusion matrix),也被称为错误矩阵(error matrix)。
跪式俯卧撑矩阵的每⼀列表达了分类器对于样本的类别预测,⼆矩阵的每⼀⾏则表达了版本所属的真实类别
之所以叫做’混淆矩阵‘,是因为能够很容易的看到机器学习有没有将样本的类别给混淆了。
接着⼆分类的举例⼦:
举⼀个三分类的例⼦:
举例⼦:
top1 和top5的计算
top1----- 就是你预测的label取最后概率向量⾥⾯最⼤的那⼀个作为预测结果,如过你的预测结果中概率最⼤的那个分类正确,则预测正确。否则预测错误
top5----- 就是最后概率向量最⼤的前五名中,只要出现了正确概率即为预测正确。否则预测错误。
1 在每次迭代中计算top1和top5,然后求平均
计算代码:
输⼊是模型输出(batch_size×num_of_class),⽬标label(num_of_class向量),元组(分别向求top⼏)
def accuracy(output, target, topk=(1,)):
"""Computes the precision@k for the specified values of k"""
maxk = max(topk)
batch_size = target.size(0)
_, pred = pk(maxk, 1, True, True)  # 返回最⼤的k个结果(按最⼤到⼩排序)
pred = pred.t()  # 转置
correct = pred.eq(target.view(1, -1).expand_as(pred))
触目惊心的意思res = []
for k in topk:
correct_k = correct[:k].view(-1).float().sum(0, keepdim=True)
res.append(correct_k.mul_(100.0 / batch_size))
return res
计算代码的使⽤:
改代码中计算了top1和top5
def validate(val_loader, model, criterion):
batch_time = AverageMeter()
loss = AverageMeter()
top1 = AverageMeter()
top5 = AverageMeter()
# switch to evaluate mode
model.eval()
for i, (input, target) in enumerate(val_loader):
target = target.cuda(async=True)
input_var = torch.autograd.Variable(input, volatile=True)
target_var = torch.autograd.Variable(target, volatile=True)
# compute output
output = model(input_var)
loss = criterion(output, target_var)
# measure accuracy and record loss
prec1, prec5 = accuracy(output.data, target, topk=(1, 5))
loss.update(loss.data[0], input.size(0))
top1.update(prec1[0], input.size(0))
top5.update(prec5[0], input.size(0))
an()
交换性爱
2 在每次迭代中计算混淆矩阵,然后求top1(即为准确率)需要注意,我们平时说的top1就是准确率
def val(model, dataloader):
'''
计算模型在验证集上的准确率等信息,⽤以辅助训练
'''
opt = DefaultConfig()
# 把模型设为验证模式
model.eval()
confusion_matrix = meter.ConfusionMeter(opt.num_of_class)
for ii, data in enumerate(dataloader):
input, label = data
val_input = Variable(input, volatile=True)
val_label = Variable(label.long(), volatile=True)
if opt.u_gpu:
val_input = val_input.cuda()
val_label = val_label.cuda()
score = model(val_input)
confusion_matrix.add(score.data.squeeze(), label.long())
玉米须的功效
# 把模型恢复为训练模式
cm_value = confusion_matrix.value()
accuracy = 0
for i in range(opt.num_of_class):
accuracy += 100. * cm_value[i][i] / (cm_value.sum())
return confusion_matrix, accuracy
每⼀类的准确率
计算每⼀类的分类精度,进⽽求总体的平均精度是分类问题很常⽤的评价指标,当我们计算出混淆矩阵之后,需要对混淆矩阵进⾏量化分析,最明显的指标就是计算分类精度,下⾯提供⼀种计算⽅⾯,使⽤sk-learn的api
np.diag是将对⾓线的值取出来,也就是正确分类的样本数的分布,axis=1,是⾏维度,实际就是预测样本数分布,np.sum就是将预测的每类样本数进⾏求和。
nan_to_num是将部分真除之后会出现nan的数转成0值,从each_acc可以看出每类的分类精度,第⼀类是1,第⼆个bird没有正确分类的个数,第三个是2/3,得出每类精度之后再求平均精度。
总结
Specificity,Recall,Precision等只是计算某⼀分类的特性,⽽Accuracy和F1-Score这些是判断分类模型总体的标准。我们可以根据实际需要,得出不同的效果。讲述历史

本文发布于:2023-06-11 18:41:56,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/fanwen/fan/89/1034078.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:分类   矩阵   预测   混淆   精度   模型   计算   准确率
相关文章
留言与评论(共有 0 条评论)
   
验证码:
推荐文章
排行榜
Copyright ©2019-2022 Comsenz Inc.Powered by © 专利检索| 网站地图