[⽣成模型新⽅向]：score-badgenerativemodels
0.前⾔
最近(2021.6)发现了⽣成模型的⼀种新的trending范式: score-bad generative model, ⽤⼀句话来介绍这种结构，就是:
通过在噪声扰动后的⼤规模数据集(noi-perturbed data distributions)上学习⼀种score functions (gradients of log probability density functions)(得分函数, ⼀种对梯度的对数似然估计)，⽤朗之万进⾏采样得到符合训练集的样本. 这种新的⽣成模型，叫做score-bad generative models (or diffusion probabilistic models)
这种score-bad generative model有如下的优点:
① 可以得到GAN级别的采样效果，⽽⽆需对抗学习(adversarial training)
② 灵活的模型结构
③ 精确的对数似然估计计算(exact log-likelihood computation)
④ 唯⼀可识别表征学习(uniquely identifiable reprentation learning)
⑤ 流程可逆，我理解是不需要像StyleGAN的模型训练⼀个feature⽹络，可能也不需要像FLOW那么⼤的计算量
本篇博客的⽬的，是为了介绍score-bad generative model提出的动机，基本概念以及潜在的应⽤，本⽂主要翻译⾃此领域先驱Song Yang博⼠(斯坦福⼤学博⼠)的博客[1]。
下图来⾃Twitter⽤户Simone的分享
1. 介绍
防暴犬⽬前，⽣成模型(generative models)可以根据其表⽰概率分布的⽅式主要分为2个⼤类别:
likelihood-bad models: 通过近似极⼤似然估计(via (approximate) maximum likelihood)来直接学习分布的PDF(概率密度(D for density)函数)或者PMF(概率质量(M for mass)函数). 典型的基于likelihood的⽅法有: autoregressive模型[2], normalizing flow models(如NICE, FLOW等)[3], EBM(基于能量的⽅法)[4]以及VAE[5].
建议书的格式及范文
nba得分记录
implicit generative models: GAN中的⽅法，这种⽅法的概率分布是通过⽣成模型的采样过程隐式进⾏的。GAN中的新样本是通过对随机的⾼斯向量喂⼊GAN的⽣成模型得到的。
这两⼤类⽣成模型，都有⼀些问题: likelihood-bad models需要确保易处理的规则化常数(这个后⾯会提到)以便⽅便的计算likelihood，⽽这通常意味着⽹络结构有较⼤限制，即⽆法像NAS那样任意组织和设计⽹络结构。或者必须依赖于替代的objectives来在训练过程中，近似最⼤似然(approximate maximum likelihood training). implicit generative models的最⼤问题是需要对抗训练，⽽这种训练的⽅法通常会很不稳定[6]。
本篇博客介绍的就是宋博⼠提出的score-bad generative model, ⽤这种新的⽣成模型来解决/规避刚才提到的这些问题。score-bad generative model的核⼼idea是:
对log PDF的梯度进⾏建模得到⼀个名为(Stein) score function[7]的量.
这种score-bad generative models不需要处理类似likelihood-bad models的规则化常数。⽽且，score-bad generative models在噪声⼲扰的数据下训练的效果⾮常好。这类⽅法可以恢复被噪声⼲扰的图⽚本⾝，并且有着良好的sample quality(采样质量)。
在图像⽣成[8, 9]，⾳频合成(WaveGrad, DiffWave)，形状⽣成[10]，⾳乐⽣成都有着良好表现，甚⾄⾳频合成领域的效果优于GAN！
当噪声扰动的过程是由 随机可微分⽅程(stochastic differential equation (SDE)) 给出时, score-bad g
enerative models和FLOW这种模型在数学上联系起来了，因此可以进⾏精确的似然估计计算以及表征学习。
此外，对score的建模以及估计促使其逆向问题得到解决(inver problem，我想这也是FLOW,NICE等流式模型擅长的地⽅)，这些逆向问题包括:image inpainting [8,9]image colorization [9]
医疗图像重建以及压缩感知等.
2. The score function, score-bad models, and score matching
假定我们有⼀个数据集, 其中的每个都是从⼀个潜在的数据分布中独⽴取得的(i.i.d). ⽣成模型的⽬的是能够完美的建模这个数据分布，以便任意的采样⽣成符合这个分布的新数据。班固
康乃馨花语和寓意为了构造这个⽣成模型，我们⾸先需要找到⼀种可以表⽰这种概率分布的⽅式。⼀种⽅式就如上⾯提到的，是likelihood-bad models，即直接对PDF, PMF进⾏建模。
细胞核的结构及功能probability density function (p.d.f.) or probability mass function (p.m.f.)
我们设定，是⼀个以
为参数的函数。那么，**(p.d.f.)**就可以通过下⾯的公式定义:
这⾥, 是⼀个依赖于的normalizing constant(规则化常数)，其⽬的是让. 函数是⼀个unnormalized 概率模型，或者叫做EBM能量模型.
我们可以训练来最⼤化数据的对数似然[11]
.
然⽽，上⾯的这个公式要求是⼀个规则化的PDF，⽽这对于计算提出了挑战:
我们必须计算归⼀化常数，对于任何⼀般情况下的，这是⼀个典型的难以处理的量
x ,x ,...,x 12N x ,i ∈i 1,...,N p (x )θp (x )θf (x )∈R θθZ >θ0θp (x )dx =∫θ1f (x )θp (x )θp (x )θp (x )θZ θf (x )θ
所以，为了使得maximum likelihood training的训练变得可⾏，likelihood-bad models通过如下2种⽅式，⽽这2种⽅式，尤其是FLOW-bad模型，会使得计算量极具增加：限制模型结构（causal convolutions in autoregressive models, invertible networks in normalizing flow models）来使得近似规则化常数（variational inference in VAEs, or MCMC sampling ud in contrastive divergence）
⽽score-bad模型则是通过构造⼀个score function⽽⾮density function来避开处理这个规则化常数的问题。对⼀个分布, 其
score function定义为:
使⽤这种score function的模型我们就统称为score-bad model, ⽤来表⽰，这种模型的⽬标是在⽆需考虑规则化常数项的情况下，使得。以为例进⾏展开，得到如下结果:
可以看出, 和normalizing constant 相互独⽴。这个性质可以保证我们可以扩展⽣成模型的类别，并⽆需像之前的likelihood类⽅法那样，通过设计复杂的结构来使得
易于处理(tractable).
Parameterizing probability density functions(pdfs). No matter how you change the model family and parameters, it has
to be normalized (area under the curve (AUC) must integrate to one).
能打动男生的表白Parameterizing score functions. No need to worry about normalization.Z =θ1渐变图形
P (x )s (x )θs (x )≈∇logp (x )θx p (x )=θZ θe −f (x )
θs (x )θZ θZ θ
