【RBM受限玻尔兹曼机DBM深度玻尔兹曼机】

作者：袁韦伦世彦琬育 | 来源：互联网 | 2023-09-18 14:57

转载https:blog.csdn.netfjssharpswordarticledetails79352222参考https:www.cnblogs.comkemaswillp3

转载 https://blog.csdn.net/fjssharpsword/article/details/79352222
参考
https://www.cnblogs.com/kemaswill/p/3269138.html
https://blog.csdn.net/weixin_42137700/article/details/81610145
https://baijiahao.baidu.com/s?id&＃61;1599798281463567369&wfr&＃61;spider&for&＃61;pc

受限玻尔兹曼机&＃xff08;RBM&＃xff09;多见深度学习&＃xff0c;不过笔者发现推荐系统也有相关专家开始应用RBM。实际上&＃xff0c;作为一种概率图模型&＃xff0c;用在那&＃xff0c;只要场景和数据合适都可以。有必要就RBM做一个初步了解。

1、 RBM定义

RBM记住三个要诀&＃xff1a;1&＃xff09;两层结构图&＃xff0c;可视层和隐藏层&＃xff1b;2&＃xff09;同层无边&＃xff0c;上下层全连接&＃xff1b;3&＃xff09;二值状态值&＃xff0c;前向反馈和逆向传播求权参。定义如下&＃xff1a;

RBM包含两个层&＃xff0c;可见层&＃xff08;visible layer&＃xff09;和隐藏层&＃xff08;hidden layer&＃xff09;。神经元之间的连接具有如下特点&＃xff1a;层内无连接&＃xff0c;层间全连接&＃xff0c;显然RBM对应的图是一个二分图。一般来说&＃xff0c;可见层单元用来描述观察数据的一个方面或一个特征&＃xff0c;而隐藏层单元的意义一般来说并不明确&＃xff0c;可以看作特征提取层。RBM和BM的不同之处在于&＃xff0c;BM允许层内神经元之间有连接&＃xff0c;而RBM则要求层内神经元之间没有连接&＃xff0c;因此RBM的性质&＃xff1a;当给定可见层神经元的状态时&＃xff0c;各隐藏层神经元的激活条件独立&＃xff1b;反之当给定隐藏层神经元的状态是&＃xff0c;可见层神经元的激活也条件独立。

如图给出了一个RBM网络结构示意图。其中&＃xff1a; $n_{v},n_{h}$ 分别表示可见层和隐藏层中包含神经元的数目&＃xff0c;下标v&＃xff0c;h代表visible和hidden&＃xff1b; $v&＃61;(v_{1},v_{2},...,v_{n_{v}},)^{T}$ 表示可见层的状态向量&＃xff1b; $h&＃61;(h_{1},h_{2},...,h_{n_{h}},)^{T}$ 表示隐藏层的状态向量&＃xff1b; $a&＃61;(a_{1},a_{2},...,a_{n_{v}},)^{T}$ 表示可见层的偏置向量&＃xff1b; $b&＃61;(b_{1},b_{2},...,b_{n_{h}},)^{T}$ 表示隐藏层的偏置向量&＃xff1b; $W&＃61;(w_{i,j})\in \Re ^{n_{h}\times n_{v}}$ 表示隐藏层和可见层之间的权值矩阵&＃xff0c; $w_{i,j}$ 表示隐藏层中第i个神经元与可见层中第j个神经元之间的连接权重。记 $\theta &＃61;(W,a,b)$ 表示RBM中的参数&＃xff0c;可将其视为把W,a,b中的所有分量拼接起来得到的长向量。

RBM的求解也是基于梯度求对数自然函数。

给定训练样本&＃xff0c;RBM的训练意味着调整参数 $\theta$ &＃xff0c;从而拟合给定的训练样本&＃xff0c;使得参数条件下对应RBM表示的概率分布尽可能符合训练数据。

假定训练样本集合为 $S&＃61;\{v_1,v_2,...,v^{n_s}\}$ &＃xff0c;其中 $n_s$ 为训练样本的数目&＃xff0c; $v^i&＃61;(v_1^i,v_2^i,...,v_{n_v}^i)^T,i&＃61;1,2,...,n_s$ &＃xff0c;它们是独立同分布的&＃xff0c;则训练RBM的目标就是最大化如下似然 $L_{\theta,S}&＃61;\prod_{i&＃61;1}^{n_s}P(v^i)$ &＃xff0c;一般通过对数转化为连加的形式&＃xff0c;其等价形式&＃xff1a; $lnL_{\theta,S}&＃61;ln\prod_{i&＃61;1}^{n_s}P(v^i) &＃61;\sum_{i&＃61;1}^{n_s}lnP(v^i)$ 。简洁起见&＃xff0c;将 $L_{\theta,S}$ 简记为 $L_S$ 。

最大化 $L_S$ 常用的数值方法是梯度上升法&＃xff08;Gradient Ascent&＃xff09;&＃xff0c;通过迭代的方法进行逼近&＃xff0c;迭代形式&＃xff1a; $\theta:&＃61;\theta&＃43;\eta\frac{\partial lnL_S}{\partial\theta}$ &＃xff0c;其中 $\eta>0$ 表示学习速率。其关键就是计算梯度 $\frac{\partial lnL_S}{\partial\theta}$ &＃xff08; $lnL_S$ 关于各个参数的偏导数 $\frac{\partial lnL_S}{\partial w_{i,j}}$ &＃xff0c; $\frac{\partial lnL_S}{\partial a_i}$ , $\frac{\partial lnL_S}{\partial b_i}$ &＃xff09;。一般采用MCMC采样来估计&＃xff0c;但由于常规的MCMC需要经过许多步的状态转移才能保证采集到的样本符合目标分布。若我们以训练样本作为起点&＃xff0c;就可以仅需要很少次的状态转移抵达RBM的分布。Hinton教授2002年基于这个上想法发明了对比散度&＃xff08;Contrastive Divergence&＃xff0c;CD&＃xff09;算法&＃xff0c;目前已经成为训练RBM的标准算法。

2、RBM DEMO
引自很好的一个介绍RBM文章&＃xff0c;还有python demo&＃xff0c;参考&＃xff1a;
http://blog.echen.me/2011/07/18/introduction-to-restricted-boltzmann-machines/
为怕链接失效&＃xff0c;还是复制过来比较靠谱。

文中demo地址&＃xff1a;https://github.com/echen/restricted-boltzmann-machines

3、RBM预备知识

理解RBM&＃xff0c;需要一些预备知识&＃xff1a;

sigmiod函数&＃xff0c;神经网络中常用的激活函数之一&＃xff0c; $sigmoid(x)&＃61;\frac{1}{1&＃43;e^{-x}}$ 。
Bayes定理&＃xff0c; $P(A|B)&＃61;\frac{P(A,B)}{P(B)}$ &＃xff0c; $P(B|A)&＃61;\frac{P(A,B)}{P(A)}$ 推出 $P(A|B)&＃61;P(A)\frac{P(B|A)}{P(B)}$ &＃xff0c; $P(A)$ 先验概率&＃xff08;Prior probability&＃xff09;、 $P(A|B)$ 后验概率&＃xff08;Posterior probability&＃xff09;&＃xff0c; $\frac{P(B|A)}{P(B)}$ 可能性函数&＃xff08;Likelyhood&＃xff09;。
二分图&＃xff08;bipartite graph&＃xff09;&＃xff0c;图论中一种特殊模型&＃xff0c;如果无向图中顶点可分割为两个互不相交的子集&＃xff0c;而且图中的每条边关联的两个顶点分别属于这两个不同的顶点集。
MCMC&＃xff0c;蒙特卡罗方法最初用于通过随机化的方法计算积分&＃xff0c;假设计算 $\int_{a}^{b} h(x)dx$ &＃xff0c;如果无法通过数学推导直接求出解析解&＃xff0c;一般不可能对区间(a,b)上所有的x值进行枚举&＃xff0c;我们可以将h(x)分解为某个函数f(x)和一个定义在(a,b)上的概率密度函数p(x)的乘积&＃xff0c;则整个积分可以写成 $\int_{a}^{b}h(x)dx&＃61;\int_{a}^{b}f(x)p(x)dx&＃61;E_{p(x)}[f(x)]$ &＃xff0c;这样原积分等同于f(x)在p(x)这个分布上的均值。这时&＃xff0c;如果我们从分布p(x)上采集大量的样本点&＃xff0c;这些样本符合分布p(x)&＃xff0c;即有 $\frac{x_{i}}{\sum_{i&＃61;1}^{n}x_{i}}\approx p(x_{i})$ 。那么我们就可以通过这些样本来逼近这个均值 $\int_{a}^{b}h(x)dx&＃61;\int_{a}^{b}f(x)p(x)dx&＃61;E_{p(x)}[f(x)]\approx \frac{1}{n}\sum_{i&＃61;1}^{n}f(x_{i})$ &＃xff0c;这就是蒙特卡罗方法的基本思想。蒙特卡罗方法的核心问题是如何从分布上随机采集样本&＃xff0c;一般采用马尔可夫链蒙特卡罗方法&＃xff08;Markov Chain Monte Carlo&＃xff0c;MCMC&＃xff09;产生指定分布下的样本。
马尔可夫链&＃xff0c;离散时间上随机变量随时间变化的转移概率仅仅依赖于当前值的序列&＃xff0c;MCMC建立的理论基础&＃xff1a;如果我们想在某个分布下采样&＃xff0c;只需要模拟以其为平稳分布的马尔科夫过程&＃xff0c;经过足够多次转移之后&＃xff0c;我们的样本分布就会充分接近于该平稳分布&＃xff0c;也就意味着我们近似地采集目标分布下的样本。
正则分布&＃xff0c;统计力学的一个基本结论&＃xff1a;当系统与外界达到热平衡时&＃xff0c;系统处于状态 $i$ 的概率 $p_{i}$ 具有以下形式 $p_{i}&＃61;\frac{1}{Z_{T}} e^{-\frac{E_{i}}{T}}$ &＃xff0c;其中 $Z_{T}&＃61;\sum_{i}{e^{-\frac{E_{i}}{T}}}$ 被称作归一化常数&＃xff0c;T为正数&＃xff0c;表示系统所处的温度&＃xff0c;这种概率分布的形式叫做正则分布。
Metropolis-Hasting采样&＃xff0c;MCMC算法中&＃xff0c;为了在一个指定的分布上采样&＃xff0c;先从系统的任意一个状态出发&＃xff0c;然后模拟马尔可夫过程&＃xff0c;不断进行状态转移&＃xff0c;根据马尔可夫的性质&＃xff0c;经过足够的转移次数之后&＃xff0c;我们所处的状态即符合目标分布&＃xff0c;此时的状态就可以作为一个采集到的样本。算法的关键就是设计出合理的状态转移过程。Metropolist-Hastings是一个非常重要的MCMC采样算法&＃xff0c;并且对于设计状态转移过程建立了统一的框架。

对于采样的特定数据场景还是需要进一步理解的。

RBM推广到DBM

RBM很容易推广到深层的RBM&＃xff0c;即我们的DBM。推广的方法就是加入更多的隐藏层&＃xff0c;当然隐藏层的层数可以是任意的&＃xff0c;随着层数越来越复杂&＃xff0c;那模型怎么表示呢&＃xff1f;其实DBM也可以看做是一个RBM&＃xff0c;稍微加以变换就可以看做是一个DBM。将可见层和偶数隐藏层放在一边&＃xff0c;将奇数隐藏层放在另一边&＃xff0c;我们就得到了RBM&＃xff0c;和RBM的细微区别只是现在的RBM并不是全连接的&＃xff0c;其实也可以看做部分权重为0的全连接RBM。RBM的算法思想可以在DBM上使用。只是此时我们的模型参数更加的多&＃xff0c;而且迭代求解参数也更加复杂了。

推荐阅读

http
机器学习的持续探索与进展

在机器学习领域，深入探讨了概率论与数理统计的基础知识，特别是这些理论在数据挖掘中的应用。文章重点分析了偏差（Bias）与方差（Variance）之间的平衡问题，强调了方差反映了不同训练模型之间的差异，例如在K折交叉验证中，不同模型之间的性能差异显著。此外，还讨论了如何通过优化模型选择和参数调整来有效控制这一平衡，以提高模型的泛化能力。 ... [详细]

蜡笔小新 2024-11-11 10:27:39
list
【Python编程基础】深入理解Python中的循环结构

在《Python编程基础》课程中，我们将深入探讨Python中的循环结构。通过详细解析for循环和while循环的语法与应用场景，帮助初学者掌握循环控制语句的核心概念和实际应用技巧。此外，还将介绍如何利用循环结构解决复杂问题，提高编程效率和代码可读性。 ... [详细]

蜡笔小新 2024-11-04 15:46:58
import
pytorch(一)：torch构建数据集并训练一个神经网络

目录预备知识导包构建数据集神经网络结构训练测试精度可视化计算模型精度损失可视化输出网络结构信息训练神经网络定义参数载入数据载入神经网络结构、损失及优化训练及测试损失、精度可视化qu ... [详细]

蜡笔小新 2024-11-14 13:06:38
hash
在范围[0..n-1]中产生m个不同的随机数 - Generating m distinct random numbers in the range [0..n-1]

Ihavetwomethodsofgeneratingmdistinctrandomnumbersintherange[0..n-1]我有两种方法在范围[0.n-1]中生 ... [详细]

蜡笔小新 2024-11-13 09:49:14
hash
Python 数据可视化实战指南

本文详细介绍如何使用 Python 进行数据可视化，涵盖从环境搭建到具体实例的全过程。 ... [详细]

蜡笔小新 2024-11-13 06:03:30
list
macOS 上 Visual Studio Code 的安装与配置指南

Visual Studio Code (VSCode) 是一款功能强大的源代码编辑器，支持多种编程语言，具备丰富的扩展生态。本文将详细介绍如何在 macOS 上安装、配置并使用 VSCode。 ... [详细]

蜡笔小新 2024-11-12 19:45:55
import
python解决CSF布料模拟滤波的批处理问题（解决获取多个点云数据las数据）

解决问题：1、批量读取点云las数据2、点云数据读与写出3、csf滤波分类参考：https:github.comsuyunzzzCSF论文题目ÿ ... [详细]

蜡笔小新 2024-11-12 11:32:15
audio
技术分享：使用 Flask、AngularJS 和 Jinja2 构建高效前后端交互系统

技术分享：使用 Flask、AngularJS 和 Jinja2 构建高效前后端交互系统 ... [详细]

蜡笔小新 2024-11-11 15:24:24
import
【图像分类实战】利用DenseNet在PyTorch中实现秃头识别

本文详细介绍了如何使用DenseNet模型在PyTorch框架下实现秃头识别。首先，文章概述了项目所需的库和全局参数设置。接着，对图像进行预处理并读取数据集。随后，构建并配置DenseNet模型，设置训练和验证流程。最后，通过测试阶段验证模型性能，并提供了完整的代码实现。本文不仅涵盖了技术细节，还提供了实用的操作指南，适合初学者和有经验的研究人员参考。 ... [详细]

蜡笔小新 2024-11-06 15:21:35
list
能够感知你情绪状态的智能机器人即将问世 | 科技前沿观察

本周科技前沿报道了多项重要进展，包括美国多所高校在机器人技术和自动驾驶领域的最新研究成果，以及硅谷大型企业在智能硬件和深度学习技术上的突破性进展。特别值得一提的是，一款能够感知用户情绪状态的智能机器人即将问世，为未来的人机交互带来了全新的可能性。 ... [详细]

蜡笔小新 2024-11-05 20:45:31
import
利用CIFAR10数据集快速掌握Mixup数据增强技术，显著提高图像分类精度

通过使用CIFAR-10数据集，本文详细介绍了如何快速掌握Mixup数据增强技术，并展示了该方法在图像分类任务中的显著效果。实验结果表明，Mixup能够有效提高模型的泛化能力和分类精度，为图像识别领域的研究提供了有价值的参考。 ... [详细]

蜡笔小新 2024-11-05 14:24:36
import
深入解析经典卷积神经网络及其实现代码

深入解析经典卷积神经网络及其实现代码 ... [详细]

蜡笔小新 2024-11-01 11:16:09
match
Java 15 发布，带来多项重要更新！

2020年9月15日，Oracle正式发布了最新的JDK 15版本。本次更新带来了许多新特性，包括隐藏类、EdDSA签名算法、模式匹配、记录类、封闭类和文本块等。 ... [详细]

蜡笔小新 2024-11-14 12:11:09
select
包含phppdoerrorcode的词条

包含phppdoerrorcode的词条 ... [详细]

蜡笔小新 2024-11-14 12:06:14
main
最详尽的4K技术科普

什么是4K？4K是一个分辨率的范畴，即40962160的像素分辨率，一般用于专业设备居多，目前家庭用的设备，如 ... [详细]

蜡笔小新 2024-11-12 18:25:39

袁韦伦世彦琬育

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章