【机器学习】PAC学习
⽂章⽬录
计算学习理论(computation learning theory)
计算学习理论研究的是关于通过“计算”来进⾏“学习”的理论,即关于机器学习的理论基础,其⽬的是分析学习任务的困难本质,为学习算法提供理论保证,并根据分析结果指导算法设计。
概率近似正确(Probably Approximately Correct)
计算学习理论中最基本的是概率近似正确(Probably Approximately Correct,PAC)学习理论。
我们通过⼀个”猜区间“游戏来说明PAC learning是什么。
1. Learning intervals(区间学习)你真勇敢
⾸先举⼀个简单的猜数游戏:
颓的意思
玩家1 ⼼中默默假想⼀个区间[a b],同时随机地选取⼀个数字x。⽆论他怎么选择x,他都要告诉⼤家x是否在区间[a b]内(即a<x<b是否成⽴)。我们假设如果x在区间内为1,如果在区间外则为0。
玩家2 则通过玩家1 ⼝中报出来的数字x和“1”、“0”来确定区间[a b]的值。因为玩家1 报数字的次数总归是有限(finite)的,所以很明显玩家2 ⼏乎不可能完全的猜对a和b的值。但玩家2 可以根据玩家1 报出的新数据不断地更正⾃⼰的猜测。
孩子多大断奶极端的想象⼀下,如果玩家1 可以⽆限(infinte)次地去报数字,并且告诉⼤家这个数字x是否在区间内,我们就可以计算玩家 2 的区间所预测的错误结果的可能性。如果这个误差很⼩很⼩,那我们就可以说玩家2 “学习”了玩家1 的区间[a b]。也就是玩家2 猜对了!那么这个区间问题可以被称为PAC-learnable。
2. PAC learning华山派
讲完这个游戏,我们重新回顾⼀下PAC learning的全名:probably approximately correct learning。儿童画画大赛
相逢的喜悦
Probably的意思是:如果玩家1 可以⽆限次的玩这个游戏来报数字,玩家2 就能给出⼀个很好的区间预测。换句话说,玩家2 可以极⼤可能的猜对玩家1 假象的区间[a b]
米妮简笔画Approximately correct的意思是:在给定新的报数后,预测区间已经⼗分接近于玩家1 ⼼中的假想区间了。并且这个预测区间的误差很⼩很⼩很⼩…………第一次做父母
参考:
1. 周志华《机器学习》西⽠书
2.