代价敏感的学习⽅法
日本的英语
规划书代价敏感的学习⽅法是机器学习领域中的⼀种新⽅法,它主要考虑在分类 中,当不同的分类错误会导致不同的惩罚⼒度时如何训练分类器。例如在医疗中,“将病⼈误诊为健康⼈的代价”与“将健康⼈误诊为病⼈的代价”不同;在⾦融信⽤卡盗⽤检测中,“将盗⽤误认为正常使⽤的代价”与将“正常使⽤误认为盗⽤的代价”也不同。通常,不同的代价被表⽰成为⼀个N×N的矩阵Cost中,其中N 是类别的个数。Cost[i, j]表⽰将⼀个i 类的对象错分到j 类中的代价。
按照对问题的解决⽅法的不同,对代价敏感学习的算法研究可以分成三类。
第⼀类代价敏感的学习⽅法关注于如何直接构造⼀个代价敏感的学习模型,对不同的分类器模型研究者们提出了不同的解决办法,它们包括
(1)决策树:Knoll 等和Bradford 等为决策树提出了代价敏感的剪枝⽅
法,Bradford 等研究了在代价敏感的条件下如何对决策树进⾏剪枝使得
福妮儿损失达到最⼩,研究表明基于拉普拉斯⽅法的剪枝⽅法能够取得最好的
效果,Drummond 和Holte 研究了代价敏感学习的决策树的节点分裂
⽅法。
(2) Boosting:Fan 等研究着提出了代价敏感的Boosting 算法Ada-Cost
(3)神经⽹络:Geibel 和Wysotzki 提出了基于Perceptron 分类算法的代价敏感的学习⽅法,在⽂章中作者对不可分的类提出了代价敏感的参数更新规则。例如Kukar 和Kononenko 为神经⽹络提出了新的后向传播算
法,使之能够满⾜代价敏感学习的要求。
(4) Fumera 和Roli[37]以及Bradford 等从结构风险最⼩的⾓度来看代价敏感问题,提出了代价敏感的⽀持向量机分类算法。
第⼆类代价敏感的学习⽅法基于对分类结果的后处理,即按照传统的学习⽅法学习⼀个分类模型,然后对其分类结果按照贝叶斯风险理论对结果进⾏调整,以达到最⼩的损失。和第⼀类代价敏感学习⽅法相⽐,这种⽅法的优点在于其不依赖于所使⽤的具体的分类器。Domingos 提出了⼀种叫做MetaCost 的过程,它把底层的分类器看成⼀个⿊箱⼦,不对分类器做任何的假设和改变,MetaCost可以应⽤到任何个数的基分类器和任何形式的代价矩阵上。给定⼀个样例x,基分类器得出它属于第j 个类的概率为Pr(j|x),这样,认为x 属于第i个类的贝叶斯最优预测的风险为:
领导春节祝福语
怎么画老鼠>宿舍卫生检讨书R(i|x) = ΣP(j|x)C(i,j)(C(i,j)是把属于类别j的分为类别i的代价)竹笆脚手板
第三种代价敏感的学习⽅法基于传统的学习模型,通过改变原始训练数据的分布来训练得到代价敏感的模型。Chan 和Stolfo 提出了层次化模型(Stratification),把分布不均匀的训练数据调整为正负例均匀分布的数据。Zadrozny 等研究者基于cost-proportionate 的思想,对训练数据调节权值,在实际应⽤中,其类似于Boosting 算法,可以通过为分类模型调节权值来进⾏实现,⼜可以通过采样(subsampleing)来实现[150]。Abe 等提出了对多类分类问题中如何实现代价敏感的学习进⾏了探讨,提出了⼀种新的迭代学习⽅法。
做青团的草叫什么