【机器学习系列】变分推断第三讲：基于随机梯度上升法SGD的变分推断解法

作者&＃xff1a;CHEONG

公众号&＃xff1a;AI机器学习与知识图谱

研究方向&＃xff1a;自然语言处理与知识图谱

阅读本文之前&＃xff0c;首先注意以下两点&＃xff1a;

1. 机器学习系列文章常含有大量公式推导证明&＃xff0c;为了更好理解&＃xff0c;文章在最开始会给出本文的重要结论&＃xff0c;方便最快速度理解本文核心。需要进一步了解推导细节可继续往后看。

2. 文中含有大量公式&＃xff0c;若读者需要获取含公式原稿Word文档&＃xff0c;可关注公众号【AI机器学习与知识图谱】后回复&＃xff1a;变分推断第三讲&＃xff0c;可添加微信号【17865190919】进学习交流群&＃xff0c;加好友时备注来自CSDN。原创不易&＃xff0c;转载请告知并注明出处&＃xff01;

本文将先对变分推断所要解决的问题进行分析&＃xff0c;然后给出基于随机梯度上升法的变分推断解法。

一、本文结论

结论1&＃xff1a; 变分推断的主要思想&＃xff1a;在给定数据集$X$下&＃xff0c;问题是求后验概率$p$&＃xff0c;简单情况下后验概率$p$可直接通过贝叶斯公式推导求出&＃xff0c;但有些情况无法直接求解。因此变分推断想法是先假设另一个简单的概率分布$q$&＃xff0c;如高斯分布&＃xff0c;通过优化$p$和$q$之间距离最小化&＃xff0c;让概率分布$q$逼近$p$&＃xff0c;这样就可以用概率分布$q$近似表示后验概率$p$。

结论2&＃xff1a; 基于随机梯度上升法主要思路就是对优化的目标函数q∗&＃61;argmaxqELBOq^*&＃61;argmax_qELBOq∗&＃61;argmaxq​ELBO求梯度的过程。最后使用MCMC采样的方式近似求出梯度&＃xff0c;并且考虑到求解出梯度近似值的稳定性&＃xff0c;使用了重参数化技巧Reparameterization Trick。在梯度求出之后便可使用迭代方式求出参数。

二、问题分析

在上一节详细介绍了变分推断所要解决的问题&＃xff0c;下面我们首先重新明确优化的目标函数

其中&＃xff1a;

为了表示方便&＃xff0c;这里假设$q(z)$中$z$是关于参数$\varphi$的函数&＃xff0c;这样优化函数就变成&＃xff1a;

在明确了优化函数后&＃xff0c;接下来就通过随机梯度上升法求解&＃xff0c;因此下面通过公式推导求求梯度。

三、公式推导

下面是$L(\varphi )$关于$\varphi$求梯度的过程&＃xff1a;

这里为了方便表示&＃xff0c;做以下赋值操作&＃xff0c;用$A$表示公式前半部分&＃xff0c;用$B$表示公式后半部分&＃xff1a;

先看$B$项&＃xff0c;其中logpθ(x,z)logp_\theta(x,z)logpθ​(x,z)与$L(\varphi )$无关&＃xff0c;所以有&＃xff1a;

所以最终化简可得$B$项为0&＃xff0c;所以原始公式就只剩下$A$项&＃xff1a;

所以可以将上述式子写成qϕq_\phiqϕ​期望的形式如下&＃xff1a;

这样我们就将$L(\varphi )$关于$\varphi$的梯度求出来了&＃xff0c;是一个关于qϕq_\phiqϕ​的期望&＃xff0c;就可以通过MCMC采样的方式把梯度具体表示出来&＃xff0c;知道了梯度便可以利用梯度上升法进行求解了。首先通过MCMC采样法对$z$进行采样&＃xff0c;zl∼qϕ,l&＃61;1,2,...,Lz^l \sim q_{\phi}, l&＃61;1,2,...,Lzl∼qϕ​,l&＃61;1,2,...,L&＃xff0c;得到$L(\varphi )$关于$\varphi$的梯度为&＃xff1a;

知道梯度后便可以通过随机梯度上升法求解参数&＃xff1a;

但这里存在一个问题&＃xff0c;问题就出在&＃xff1a;

当qϕq_\phiqϕ​很小时&＃xff0c;如在0-1之间时&＃xff0c;log函数的结果就会有很大的波动&＃xff0c;会导致求出来的梯度值有很大的波动&＃xff0c;这样MCMC采样时只有让$L$取非常大时才能避免这种波动带来的高方差High Variance的问题&＃xff0c;所以在实际使用时存在工程上的问题。解决的方案就是使用重参数化技巧来避免。

四、重参数化技巧

Reparameterization Trick&＃xff0c;假设&＃xff1a;

其中

则&＃xff1a;

在使用重参数化技巧之后&＃xff0c;我们再来求目标函数的梯度值&＃xff1a;

这里将qϕq_\phiqϕ​可以利用重参数化技巧可以等价替换成$p(\epsilon )$&＃xff1a;

这里就是关于$p(\epsilon )$的期望了&＃xff0c;所以对$\varphi$求梯度时就不会那么复杂

这里我们再使用MCMC采样法对$\epsilon$进行采样&＃xff0c;εl∼p(ε),l&＃61;1,2,...,L\varepsilon^l \sim p(\varepsilon), l&＃61;1,2,...,Lεl∼p(ε),l&＃61;1,2,...,L&＃xff0c;最终可以得出目标函数的梯度值为&＃xff1a;

得知梯度值之后&＃xff0c;便可以使用随机梯度上升法对参数进行迭代求解&＃xff1a;