【机器学习】PAC学习
⽂章⽬录
计算学习理论（computation learning theory）
计算学习理论研究的是关于通过“计算”来进⾏“学习”的理论，即关于机器学习的理论基础，其⽬的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计。
概率近似正确（Probably Approximately Correct）
计算学习理论中最基本的是概率近似正确（Probably Approximately Correct，PAC）学习理论。
我们通过⼀个”猜区间“游戏来说明PAC learning是什么。
1. Learning intervals（区间学习）你真勇敢
⾸先举⼀个简单的猜数游戏：
颓的意思
玩家1 ⼼中默默假想⼀个区间[a b]，同时随机地选取⼀个数字x。⽆论他怎么选择x，他都要告诉⼤家x是否在区间[a b]内（即a<x<b是否成⽴）。我们假设如果x在区间内为1，如果在区间外则为0。
玩家2 则通过玩家1 ⼝中报出来的数字x和“1”、“0”来确定区间[a b]的值。因为玩家1 报数字的次数总归是有限（finite）的，所以很明显玩家2 ⼏乎不可能完全的猜对a和b的值。但玩家2 可以根据玩家1 报出的新数据不断地更正⾃⼰的猜测。
孩子多大断奶极端的想象⼀下，如果玩家1 可以⽆限（infinte）次地去报数字，并且告诉⼤家这个数字x是否在区间内，我们就可以计算玩家 2 的区间所预测的错误结果的可能性。如果这个误差很⼩很⼩，那我们就可以说玩家2 “学习”了玩家1 的区间[a b]。也就是玩家2 猜对了！那么这个区间问题可以被称为PAC-learnable。
2. PAC learning华山派
讲完这个游戏，我们重新回顾⼀下PAC learning的全名：probably approximately correct learning。儿童画画大赛
相逢的喜悦
Probably的意思是：如果玩家1 可以⽆限次的玩这个游戏来报数字，玩家2 就能给出⼀个很好的区间预测。换句话说，玩家2 可以极⼤可能的猜对玩家1 假象的区间[a b]
米妮简笔画Approximately correct的意思是：在给定新的报数后，预测区间已经⼗分接近于玩家1 ⼼中的假想区间了。并且这个预测区间的误差很⼩很⼩很⼩…………第一次做父母
参考：
1. 周志华《机器学习》西⽠书
2.
