重要性采样

简介

重要性采样是蒙特卡洛方法中的一个重要策略。该方法不改变统计量，只改变概率分布，可以用来降低方差。

重要性采样算法就是在有限的采样次数内，尽量让采样点覆盖对积分贡献很大的点。

目标

其目标是用一种受控的方式改变仿真，以便增加稀少事件的数目，同时还能正确地确定解调差错概率。常规重要性采样（CIS）是一种降方差的仿真方法，它通过提供有偏噪声来实现，等效于使系统工作在一个较低的信噪比环境下。

原理

假设为概率空间上的一个随机变量。我们想要估计X的期望值，记作。如果根据P随机抽取样本，估计的期望值即这一估计的精确度取决于X的方差，而重要性采样的基本思想则是从另一个分布中抽取样本，用以降低估计的方差。进行重要性采样时，首先选择一个随机变量，使得，并满足P上几乎处处。由此，可以定义新的概率于是，我们可以从P上抽样，通过变量估计。如果成立，此时的估计便优于直接在原分布上采样得到的估计。

当X在Ω上不变号时，最优的L为。此时即为要估计的，只需一个样本便可得到该值。然而由于与要估计的有关，在实际操作中我们无法取到理论上最优的。不过，我们仍可以采用如下方式逼近该理论值：于是，要估计的期望值可改写为： 注意到，更优（即让估计值方差更小）的P会使得样本分布的频率与其在计算中的权重更加相关。这也是该方法得名“重要性采样”的原因。

重要性采样常用于蒙特卡洛积分。当P为均匀分布、时，即为实函数的积分。