KL 散度（KLDivergence ）笔记人道主义干涉
KL 散度(KL Divergence)二怎么读
以下是维基百科给出的相关信息：
KL散度(Kullback-Leibler divergence, 简称KLD)，在信息系统中称为相对熵(relative entropy)，在连续时间序列中称为随机性(randomness)，在统计模型推断中称为信息增益(information gain)。也称信息散度(information divergence)。
KL散度是两个概率分布P和Q差别的⾮对称性度量。KL散度是⽤来度量使⽤基于Q的分布来编码服从P的分布的样本所需的额外的平均⽐特数。典型情况下，P表⽰数据的真实分布，Q表⽰数据的理论分布、估计的模型分布、或P的近似分布。
金华的双龙洞定义
对于离散随机变量，其概率分布P和Q的KL散度可按下式定义为
等价于
乘飞机英语
即按概率求得的和的对数商的平均值。KL散度仅当概率和各⾃总和均为1时，且对于任何皆满⾜ 和时，才有定义。式中出现的情况，其值按0处理。
对于连续随机变量，其概率分布和可按积分⽅式定义为
其中和分别表⽰和的密度。三七粉能长期吃吗
更⼀般的，若和为集合的概率测度，且关于绝对连续，则从倒的KL散度定义为
御极
其中，假定右侧的表达形式存在，则为关于的R-N导数。
相应的，若关于绝对连续，则即为相关于的相对熵。
特性
D (P ∥Q )=KL −P (i )ln i ∑P (i )
描写牵牛花的作文Q (i )D (P ∥Q )=KL P (i )ln i ∑Q (i )
P (i )P P Q P Q i Q (i )>0P (i )>00ln 0P Q D (P ∣∣Q )=KL p (x )ln d x ∫−∞∞
q (x )p (x )可牛图片处理软件
p q P Q P Q X P Q P Q D (P ∥Q )=KL ln d P
∫X d Q d P
d P d Q
Q P P Q D (P ∥Q )=KL ln d P =∫X d Q d P ln d Q
∫X d Q d P d Q d P
P Q
相对熵的值为⾮负数：
由吉布斯不等式可知，当且仅当时为零。
尽管从直觉上KL散度是个度量或距离函数，但是它实际上并不是⼀个真正的度量或者距离。因为KL散度不具有对称性：从分布倒的距离通常并不等于从倒的距离。
以上就是维基百科中KL散度的相关信息了，所以基本上可以⽤两个分布之间的距离来理解KL散度，⽽与距离不同的是，KL散度不具有对称性，也就是说
，对的KL散度不等于对的KL散度，这也是⼀个很有趣的特性。
在很多深度强化学习算法中KL散度有着很重要的应⽤。D (P ∣∣Q )≥KL 0
P =Q D (P ∣∣Q )KL P Q Q P D (P ∣∣Q )=KL D (Q ∣∣P )
KL D (P ∣∣Q )=KL D (Q ∣∣P )
KL P Q Q P
