误报率、故障检测率、漏报率、虚警率、误警率等指标异同及计算公式
⽂章⽬录
误报率、故障检测率、漏报率、虚警率、误警率等指标异同及计算公式
1. ⼀些标准指标的计算
参考论⽂:Fawcett T. An introduction to ROC analysis[J]. Pattern Recognition Letters, 2006, 27(8): 861–874.⾕歌学术显⽰这篇⽂章引⽤量有⼀万四千多,应该是⽐较权威经典的。下⾯这部分相关指标的定义是从该论⽂中摘抄出来的中括号【】内的【中⽂】,是⾃⼰根据相应英⽂含义加的
True class 【真实类别】
True class 【真实类别】
p 【阳性】
n 【阴性】
Hypothesized class 【预测类别】Y 【阳性】TP(True Positives) 【真阳性】FP(Fal Positives)
【假阳性】Hypothesized class 【预测类别】
N 【阴性】
FN(Fal Negatives) 【假阴性】
TN(True Negatives) 【真阴性】
注:Hypothesized class直接翻译好像是“被假定的类别”,不太清楚是什么意思,个⼈认为应该是指“预测类别”。
true positive rate (tp rate)【真阳性率】, or hit rate 【命中率】, or recall 【召回率】:
注:关于上⾯是约等号的问题,⾸先,原⽂说的是⽤后⾯这部分的公式去估计tp rate,个⼈想法是,前⾯的计算公式是理论公式,后⾯公式是⽤实验的结果来估计的意思吧。
fal positive rate (fp rate) 【假阳性率】, or fal alarm rate :
nsitivity 【灵敏度】:
specificity 【特异度】:
precision 【精确度】:
tp rate =≈
末世柠缺毋滥
TP +FN TP
Total positives 【总阳性数⽬】 Positives correctly classified 【被正确分类的阳性数⽬】 fp rate =≈
FP +TN FP
Total negatives 【总阴性数⽬】Negatives incorrectly classified 【被错误分类的阴性数⽬】nsitivity=recall
specificity ==Fal positives 【假阳性】+True negatives 【真阴性】True negatives 【真阴性】
1−fp rate
accuracy 【准确度】:
F measure 【F 值】:
2. 在化⼯等领域的故障检测中相关指标计算
以下是个⼈的理解,没有特意参照某篇论⽂,如有不同意见或错误,欢迎指出。
在故障检测⾥,因为只是故障检测,并不会区分故障1或者故障2,⽽是统统当成故障这⼀类别。所以,将故障定义为阳性P,正常定义为阴性N,例如,故障1是阳性P,故障2也是阳性P。那么故障检测中,常⽤的相关指标定义如下:
故障检测率(fault detection rate ,FDR ):
因此,故障检测率与召回率、真阳性率是同⼀个计算公式,同⼀个含义。
故障L 的故障检测率
粤教云其中,L是具体某类故障的标签。因此论⽂中,谈到“不同故障检测率”,⽤的是故障L的故障检测率公式。⽽“平均故障检测率”就是在不区分故障⼏的情况下计算的结果,即⽤的FDR或tp rate计算。
所以,如果在“fault detection rate”的讨论环境中,存在着不同故障,那⽤的是故障L的故障检测率公式。如果没有区分故障,那么指的就是原来的含义,不过,为了说明的更清楚,⼀般采⽤“average fault detection rate”,即平均故障检测率,所以,这样也算是作了相应的区分了。论⽂⽰例 1:
来源:Lv F, Wen C, Bao Z, et al. Fault diagnosis bad on deep learning[C]. 2016 American Control Conference (ACC).Boston, MA, USA: IEEE, 2016: 6851–6856.
白城电视台这个讨论的是平均故障检测率:
论⽂⽰例 2:
precision =TP +FP
TP
accuracy =TP +FN +TN +FP
TP +TN
F measure =
+
precision
1reca ll
12FDR ==故障总数⽬
被正确检测的故障(即故障被成功预测成故障)数⽬
=TP +FN TP tp rate 故障L 故障检测率 =故障L 总数⽬
被正确检测的故障L (即故障L 被成功预测成故障)总数
来源:Zhang X, Kano M, Li Y. Principal Polynomial Analysis for Fault Detection and Diagnosis of Industrial Process[J].IEEE Access, 2018, 6: 52298–52307.
这个讨论的是各故障的检测率,⽤的是故障L的故障检测率公式,左边第⼀列是21种故障:
误报率(fal alarm rate ,FAR )、虚警率、误检率:
误报的含义肯定是指正常被误报成故障(真实类别为正常,预测类别为故障),显然不会有故障误报成正常这⼀说法,只有故障漏报成正常的说法。
因此,误报率是与假阳性率同⼀个计算公式,同⼀个含义。关于虚警率这个指标的问题,个⼈认为,
完全是翻译的问题。
毕竟,fal alarm rate 这个词,字⾯意思,假的警报⽐率,翻译成“误报率”、“虚警率”都是合理的翻译,甚⾄翻译成“误警率”,“虚报率”字⾯意思好像也完全说的通的,只是可能没有⼈这么说。
卡宴怎么样在百度翻译中,“虚警率”甚⾄被翻译成了“fal positive rate”,即“假阳性率”了(⽽上⾯公式表明误报率和假阳性率确实是⼀样的)。
⽽在⾕歌翻译中,“虚警率”被翻译成“fal alarm rate”,⽽“fal alarm rate”再翻译回中⽂时⼜成“误报率”了。
个⼈猜测,会不会是不同领域的故障检测的研究⼈员,由于侧重点不同或者什么原因,在翻译“fal alarm rate”时,分别翻译成了“误报率”、“虚警率”、“误检率”之类的名称了,所以导致存在不同的翻译名称,但计算公式和含义是完全⼀样的。
漏报率(missing alarm rate ,MAR )、漏检率、漏警率:
个⼈认为,漏报率、漏检率、漏警率等也是不同领域的翻译问题,它们其实是⼀样的。
故障L 的漏报率:
因此漏报率也可以分成“平均故障漏报率”和“故障L漏报率”。不过好像没见过⽤“平均故障漏报率”这⼀说法的。漏报率这⼀指标,在使⽤时,存在和检测率⼀样的使⽤规则。论⽂⽰例 3:
来源:Shi L, Tong C, Lan T, 等. Statistical process monitoring bad on enmble structure analysis[J]. IEEE/CAA Journal of Automatica Sinica, 2018: 1–8.
梦见买东西这个漏报率实际是各故障的漏报率,⽤的故障L的漏报率计算公式
显然,这个漏报率+故障检测率=1,或者说平均漏报率+平均故障检测率=1,再或者说故障L漏报率+故障L故障检测率=1因为和为1,所以,⽤故障检测率,⼀般就不⽤漏报率,反之亦然。
⽽“精确度”、“准确率”、“错误率”这类指标,在故障检测上⼀般没见使⽤,可能是这类指标会受到不同类别数⽬的影响,所以,在该领域讨论意义不⼤。
怎么看电脑显卡FAR ==正常总数⽬
误报成故障的正常样本数⽬
幼儿园题目=FP +TN FP fp rate MAR ==故障总数⽬
漏报为正常的故障数⽬
TP +FN FN 故障L 漏报率=故障L 总数⽬
漏报为正常的故障L 数⽬
3. 在化⼯等领域的故障检测中哪个指标说法更专业?
误报率、故障检测率、fal alarm rate、fault detection rate
阅读了⼀些该领域中的中英⽂论⽂,包括国内的硕博论⽂。
中⽂论⽂中,⼤家基本都是⽤的误报率、故障检测率这两个指标。⽤漏报率的⽐较少。⽤“虚警率”这类说法的⼏乎没有看到过。
个别⼈⽤了故障准确率等类似的说法,但是个⼈认为这⼀说法并不好,不知道什么意思,容易有歧义,也没看到它的计算公式,通过⽂章上下⽂,个⼈猜测,⼤概是故障检测率的意思吧。
英⽂论⽂中,⼀般都是⽤fal alarm rate、fault detection rate,⽤missing alarm rate也有,但⽐较少见。
所以,个⼈认为,在化⼯过程的故障检测中,⽤误报率、故障检测率⽐⽤“虚警率、漏警率”更专业些。如有需要,不⽤故障检测率,⽤漏报率也是可以的。
4. 上述论述得到的结论办公室文员
在故障定义为阳性,正常定义为阴性的前提下。
结论①故障检测率=真阳性率=召回率
结论②误报率=假阳性率
结论③ fal alarm rate=误报率=虚警率=误检率等名称(纯粹是翻译不同)
结论④ missing alarm rate=漏报率=漏警率=漏检率等名称
结论⑤漏报率+故障检测率=1
结论⑥在化⼯等领域的故障检测中,⽤“误报率(fal alarm rate)、故障检测率(fault detection rate)”是⽐较通⽤、⽐较专业的说法。