布朗gp

布朗桥python_GaussianProcessforRegression⾼斯回归

可⽤于回归和分类器

⾼斯过程主要应⽤于各领域的建模和预报，在时间序列分析中，⾼斯过程被⽤于时间序列的多步前向预报(multi-step-aheadprediction)

[14]、在信号处理中，⾼斯过程建模是处理⾮线性信号的⼯具[15]、在⼈⼯智能领域，GPR和GPC是被⼴泛使⽤的机器学习算法[1]，

具有卷积结构的⾼斯过程(ConvolutionalGaussianProcess,CGP)在图像处理问题中表现出了良好效果[16]。此外⼀些⾼斯过程可以

模拟特殊的科学现象，例如OU过程被⽤于神经活动的建模[17]、布朗桥被⽤于模拟⽣物的迁徙⾏为

ianProcessisacollectionofrandomvariables,anyfinitenumberofwhichhave(consistent)joint

Gaussiandistributions.

⾼斯分布(GaussianDistribution)是由⽅差向量(⼀维的时候是⼀个常量)和⼀个协⽅差矩阵(⼀维是⽅差)确定。

⽽⾼斯过程是⼀个随机过程的集合，它由⼀个均值函数m(x)和⽅差函数k(x，x')确定。

换句话说，⾼斯分布是基于向量，⽽⾼斯过程是基于函数(函数区别于序列在于连续？)

⾼斯分布表⽰：

f~GP(m,k)

意思是：函数f按照基于均值函数m(x)和协⽅差函数k(x，x‘)的⾼斯过程进⾏分布。就是⾼斯分布的⼀个连续性扩展，这⾥有⼀个训练⽅式

的讲解

在概率论和统计学中，⾼斯过程是随机过程(由时间或空间索引的随机变量的集合)，使得这些随机变量的每个有限集合具有多元正态分布，

即它们的每个有限线性组合通常是分散式。⾼斯过程的分布是所有那些(⽆限多个)随机变量的联合分布，因此，它是具有连续域的函数的分

布，例如时间或空间。

涉及⾼斯过程的机器学习算法使⽤惰性学习和点之间的相似性度量(核函数)来预测训练数据中看不见的点的值。预测不仅仅是对该点的估

计，⽽且还具有不确定性信息-它是⼀维⾼斯分布(这是该点的边际分布)。

对于某些核函数，矩阵代数可⽤于使⽤克⾥⾦法计算预测。当使⽤参数化内核时，优化软件通常⽤于拟合⾼斯过程模型。

⾼斯过程的概念以CarlFriedrichGauss命名，因为它基于⾼斯分布(正态分布)的概念。⾼斯过程可以看作是多元正态分布的⽆限维推⼴。

⾼斯过程在统计建模中很有⽤，受益于从法线继承的属性。例如，如果将随机过程建模为⾼斯过程，则可以明确地获得各种导出量的分布。

这样的量包括在⼀定范围内的过程的平均值和在⼀⼩部分时间使⽤样本值估计平均值的误差。

图⽂详解⾼斯过程(⼀)——含代码

编者按：⾼斯过程(Gaussianprocess)是概率论和统计学中的⼀个重要概念，它同时也被认为是⼀种机器学习算法，⼴泛应⽤于诸多领

域。为了帮助⼊门者更好地理解这⼀简单易⽤的⽅法，近⽇国外机器学习开发者AlexBridgland在博客中图⽂并茂地解释了⾼斯过程，并授

权论智将⽂章分享给中国读者。

注：本⽂为系列第⼀篇，虽⽤可视化形式弱化了数学推导，但仍假设读者具备⼀定机器学习基础。

现如今，⾼斯过程可能称不上是机器学习领域的炒作核⼼，但它仍然活跃在研究的最前沿。从AlphaGo到AlphaGoZero，Deepmind在

MCTS超参数⾃动调优上⼀直表现出对⾼斯过程优化的信⼼，⽽这的确是它的优势领域。当涉及丰富的建模可能性和⼤量随机参数时，⾼斯

过程⼗分简单易⽤。

但是，掌握⾼斯过程不是⼀件简单的事，尤其是如果你已经⽤惯了深度学习常⽤的那些模型。为了解决这个问题，我特意撰写了这篇⽂章，

并⽤⼀种直观地、可视化的⽅式结合理论向初学者介绍。我已在github上传了我的JupyterNotebook，建议读者前往下载，并结合函数图

像和代码来对整个概念建⽴清晰认识。

什么是⾼斯过程？

⾼斯过程(GP)是⼀种强⼤的模型，它可以被⽤来表⽰函数的分布情况。当前，机器学习的常见做法是把函数参数化，然后⽤产⽣的参数建模

来规避分布表⽰(如线性回归的权重)。但GP不同，它直接对函数建模⽣成⾮参数模型。由此产⽣的⼀个突出优势就是它不仅能模拟任何⿊盒

函数，还能模拟不确定性。这种对不确定性的量化是⼗分重要的，如当我们被允许请求更多数据时，依靠⾼斯过程，我们能探索最不可能实

现⾼效训练的数据区域。这也是贝叶斯优化背后的主要思想。

如果你给我⼏张猫和狗的图⽚，要我对⼀张新的猫咪照⽚分类，我可以很有信⼼地给你⼀个判断。但是，如果你给我⼀张鸵鸟照⽚，强迫我

说出它是猫还是狗，我就只能信⼼全⽆地预测⼀下。——YarinGal

为了更好地介绍这⼀概念，我们假定⼀个没有噪声的⾼斯回归(其实GP可以扩展到多维和噪声数据)：

假设有⼀个隐藏函数：f：ℝℝ，我们要对它建模；

fx

⽤⾼斯建模函数

GP背后的关键思想是可以使⽤⽆限维多变量⾼斯分布来对函数进⾏建模。换句话说，输⼊空间中的每个点都与⼀个随机变量相关联，⽽它

们的联合分布可以被作为多元⾼斯分布建模。

这是什么意思呢？让我们从⼀个简单的例⼦开始：⼆维⾼斯分布。

上式可以被可视化为⼀个3D的钟形曲线，其中概率密度为其⾼度。如果我们不把它作为⼀个整体来看，⽽是从它的分布中抽样，那会怎么

样？⽐如说，我们⼀次从图中抽取两点，反复进⾏10次，并把第⼀个值记录在x=0，第⼆个值在x=1，然后在两点间绘制线段。

如图所⽰，这10根线条就是我们刚才抽样的10个线性函数。那如果我们扩展到20维，它们会呈怎样的分布呢？

经过调整，我们得到了这样的函数曲线，虽然整体⾮常杂乱，但它们包含了许多有⽤的信息，能让我们推敲想从这些样本中获得什么，以及

如何改变分布来获得更好的样本。

多元⾼斯分布有两个重要参数，⼀个是均值函数，另⼀个是协⽅差函数。如果只改变均值，那我们改变的只有曲线的整体趋势(如果均值函

数是上升的，例：(D)，曲线就会有⼀个整体的线性上升趋势)，⽽锯齿状的噪声形状依然存在。鉴于这个特征，我们⼀般倾向于

设GP的均值函数为0(即使不改变均值，GP也能对许多函数建模)。

解决了曲线形态，那么接下来，我们就要为它们增加⼀些平滑度(smoothness)。例如，如果两个样本⾮常接近，那我们⾃然会希望它们的

函数值，即y值也⾮常相近。⽽把这个放进我们的模型中，就是样本附近的随机变量对应到它们联合分布(⾼维协⽅差)上的值应当和样本对

应的值⼗分接近。

现在，这些点的协⽅差被定义在⾼斯协⽅差矩阵中，考虑到我们有的是⼀个N维的⾼斯模型：y0,…,yN，那么这就是⼀个N×N的协⽅差矩

阵Σ，那么矩阵中的(i,j)就是Σij=cov(yi,yj)。换句话说，协⽅差矩阵Σ是对称的，它包含了模型上所有随机变量的协⽅差(⼀对)。

⽤核函数实现平滑

那么我们该如何定义我们的协⽅差函数呢？这时⾼斯过程的⼀个重要概念核函数(kernel)就要登场了。为了实现我们的⽬的，我们可以设⼀

个平⽅形式的核函数(最简形式)：

当x=x′时，核函数k(x,x′)等于1；x和x′相差越⼤，k越趋向于0。

我们可以这样绘制核函数的曲线，并观察图像变化：当x=x′时，函数值最⼤；当两个输⼊变得越来越不同，曲线逐渐呈平滑下降趋势。

为了实现平滑度，我们会希望xi和xj的协⽅差yi和yj就等于核函数k(xi,xj)——xi、xj越接近，协⽅差越⾼。

利⽤上⽂中的函数，我们可得矩阵(xs,xs)。接下来，让我们从20维⾼斯分布中抽取另外10个样本，不同的是，这⼀次我们⽤了新的协⽅差

矩阵。

现在，我们似乎获得了⼀些看起来有点⽤的函数分布。随着维数增加，我们甚⾄不再需要连接各个点，因为我们可以为任何可能的输⼊指定

⼀个点。

那么，如果进⼀步提⾼维数，⽐如到100维呢？

⽤先验和观察进⾏预测

现在我们已经有了⼀个函数分布，之后就要⽤训练数据来模拟那个隐藏函数，从⽽预测y值。

⾸先，我们需要⼀些训练数据。

隐藏函数f

为了介绍它，我先⽤⼀个5次⽅程：

之所以这么选，是因为它的图适合讲解，事实上我们可以随便设。

数学计算

现在我们到了GP的核⼼部分，需要涉及⼀点点数学计算，但它其实只是我们⽤来调整观测数据联合分布的⼀种⽅法。

我们⽤多元⾼斯分布对p(yx)建模：

K=κ(x,x)，均值函数m(x)=0。

这是⼀个先验分布，表⽰在观察任何数据前，我们期望在输⼊x后获得的输出y。

之后，我们导⼊⼀些输⼊为x的训练数据，并输出y=f(x)。接着，我们设有⼀些新输⼊x∗，需要计算y∗=f(x∗)。

我们将所有y和y∗的联合分布建模为：

其中，K=κ(x,x)，K∗=κ(x,x∗)，K∗∗=κ(x∗,x∗)，均值函数为0。

现在，模型成了p(y,y∗x,x∗)，⽽我们需要的是y∗。

调节多元⾼斯分布

⽐起反推回去，其实我们可以利⽤这个标准结果。由于我们已有y和y∗的联合分布，在这个基础上我们想对y的数据做条件处理，那就会得

到：

这就是基于先验分布和观察值计算出的关于y∗的后验分布。

注：由于K条件不当，以下代码可能是不准确的，我会在第⼆篇⽂章中介绍⼀种更好的⽅法。

这样，我们就能根据这两个参数从条件分布中抽取样本。在这⾥，我们设真函数f(x)与它们相对应。由于使⽤了GP，每个随机变量的⽅差中

会包含不确定性，⽽矩阵中第i个随机变量的协⽅差是Σ∗ii，也就是矩阵Σ∗的⼀个对⾓元素，所以在这⾥，我们得到样本的标准差为±2。

下篇预告

在实现中，为了获得更好的训练效果，我们往往要做更多调整计算。你也许已经注意到了，GP包含两个⾮常重要的参数σ和l，如果你在之

前采集样本的时候尝试改变过它们，那你会发现图像在垂直和⽔平⽅向上的神奇变化。例如，如果我们期望更⼤范围的输出，我们就需要相

应地放⼤参数σ。事实上，和所有会⽤到核函数的⽅法⼀样，如果有需要，我们甚⾄可以完全改变核函数。

尽管选择核函数是专家学者们的事，但是通过控制loss最⼩化，我们可以⾃动选择参数，⽽这正是⾼斯过程带给我们的。

此外，我们还要考虑样本不完美，即出现噪声数据的情况。在这时，我们需要把这种不确定性归于模型并做⼀些泛化调整。