计算机如何处理伯努利函数,行人检测深度学习篇

樊恒徐俊等基于深度学习的人体行为识别J武汉大学学报2016414492-497

引言

行为识别整体流程

前景提取

行为识别过程

实验分析

芮挺等 基于深度卷积神经网络的行人检测 计算机工程与应用 2015

引言

卷积神经网络结构与特点

行人检测卷积神经网络结构

实验对比总结

张 阳 基于深信度网络分类算法的行人检测方法J 计算机应用研究 20163302

引言

改进的深信度网络分类算法

1 带 T 分布函数显层节点的 BM

2 深信度网络搭建及预训练

3 微调

基于深信度网络的行人特征分类

1 预处理

2 行人特征分类器

性能评价

总体来说大部分浏览下就行。

樊恒&＃xff0c;徐俊等.基于深度学习的人体行为识别[J].武汉大学学报,2016,41(4):492-497.

0 引言

目前研究行为识别的方法一般分为基于模型方法和基于相似性度量的方法&＃xff0c;前者首先建立某种准则&＃xff0c;然后从运动图像序列中提取目标的外形、运动等特征&＃xff0c;根据所获得的特征信息&＃xff0c;通过人工或半监督的方法来定义正常行为的数学模型。而基于相似度量的方法考虑到人体行为难定义、易发现的特点&＃xff0c;避免显示定义人体行为的数学模型。其基本原理是自动从运动图像序列数据中学习各种人体行为&＃xff0c;根据学习结果判断测试视频中的行为类型。

本文提出了一种基于深度信念网络(deep belief networks)的人体行为识别方法。

1 行为识别整体流程

流程图如下&＃xff1a;

左侧分支为模型训练&＃xff0c;右侧模型为识别过程。

2 前景提取

目前&＃xff0c;目标检测方法主要有背景减法、光流法以及时间差分法等。为了实现检测的自适应性和实时性&＃xff0c;本文选择基于高斯混合模型的背景减法&＃xff0c;该方法实现简单、运算速度快&＃xff0c;同时能够适应背景变化。(时间差分法一般较难提取出完整的运动目标&＃xff0c;在运动目标内部容易产生空洞。光流法的计算相对复杂&＃xff0c;抗噪能力较差。)具体数学运算&＃xff0c;博客里不再详述&＃xff0c;下图是效果&＃xff1a;

(背景要不要这么单纯~~)

3 行为识别过程

行为识别过程中用到的深度学习相关内容这里不再详述&＃xff0c;后面会有单独的博客的讨论。可先借鉴这篇http://blog.csdn.net/zouxy09/article/details/8781396

深度学习常用的模型有自动编码器、稀疏编码、深度信念网络等&＃xff0c;本文选择&＃xff24;&＃xff22;&＃xff2e;&＃xff53;模型。

在深度神经网络中&＃xff0c;任意两个相邻的隐含层构成一个受限玻尔兹曼机(Restricted Boltzmann Machine RBM)&＃xff0c;深度信念网络是一个包含多个隐含层的概率模型&＃xff0c;每一层从前一个隐含层获取高度相关的关联&＃xff0c;可以看作多个RBM 的累加&＃xff0c;每个低层的RBM 输出结果作为输入数据用于训练下一个RBM&＃xff0c;通过贪婪学习得到一组RBM&＃xff0c;这一组RBM 可以构成一个DSNs&＃xff0c;如下图

本文选择贪婪的逐层训练算法。在贪婪学习的过程中&＃xff0c;采用了wake-sleep算法思想。学习过程如下&＃xff1a;

4 实验分析

本文对比了不同的隐含层数&＃xff0c;隐含层单元数及迭代次数与训练误差的关系。

同时与其他文献对比得到的结果显示较好。

芮挺等 基于深度卷积神经网络的行人检测 计算机工程与应用 2015

通过本文可以熟悉普通卷积神经网络应用的过程

0 引言

与hog&＃43;svm或adaboost对比&＃xff0c;得到的更好的结果

1 卷积神经网络结构与特点

卷积神经网络的讲解&＃xff0c;下面这篇文章讲的比较好

http://www.36dsj.com/archives/24006

2 行人检测卷积神经网络结构

经典卷积神经网络不能有效完成行人检测任务&＃xff0c;网络深度、卷积核大小、最终提取特征维数&＃xff0c;是影响结果的主要因素。因此需要针对行人检测问题的具体特点&＃xff0c;对卷积神经网络的结构进行重新的设计。主要考虑一下问题&＃xff1a;

1. 卷积核的影响。卷积核是卷积神经网络模型中最具特性的部分&＃xff0c;可以理解为生物视觉中感受野的模型化表示。它的性质直接决定了特征提取的好坏、网络收敛的速度等。卷积核的大小决定了感受野的大小&＃xff0c;感受野过大&＃xff0c;提取的特征超出卷积核的表达范围&＃xff0c;而感受野过小&＃xff0c;则无法提取有效的局部特征。因此&＃xff0c;卷积核大小对整个网络的性能有着至关重要的影响。

2. 通过增加网络的层数&＃xff0c;其特征信息表达能力逐步增强&＃xff0c;但层数过多也会致使网络结构过于复杂&＃xff0c;训练时间增加&＃xff0c;易出现过拟合现象

3. 分类器输入特征维数的影响

基于上述分析&＃xff0c;对行人检测卷积神经网络进行了重新设计&＃xff0c;并通过实验对上述思想及网络结构参数进行了验证。最终确定深度卷积神经网络结构共分7 层&＃xff0c;卷积核大小为9x9&＃xff0c;隐含层输出特征维数为360 维左右。

3 实验对比总结

还是老样子&＃xff0c;实验结果很好&＃xff0c;方法很好……

张 阳 基于深信度网络分类算法的行人检测方法[J] 计算机应用研究 2016,33(02)

0 引言

通过搭建带 T 分布函数显层节点的受限波兹曼机输入端改进深信度网络的输入方式&＃xff0c;将行人特征提取信息通过输入端的显层结构转换为分类器可以识别的伯努利分布方式; 搭建多隐层受限波兹曼机中间层结构&＃xff0c;实现隐层结构间的数传递&＃xff0c;保留关键信息。最后&＃xff0c;利用 BP 神经网络搭建分类结构的输出端&＃xff0c;实现分类误差信息反向传播并对分类结构的参数进行微调&＃xff0c;不断优化分类器结构。

1 改进的深信度网络分类算法

1.1 带 T 分布函数显层节点的 &＃xff32;BM

由于利用深信度网络实现特征分类时&＃xff0c;输入一般为二值向量信息&＃xff0c;而行人检测领域中&＃xff0c;行人特征值信息的数值属性为连续整数或实数值。所以&＃xff0c;直接使用 DBN 算法实现行人特征分类和识别势必会造成信息数据的丢失而影响分类效果。本文对深信度网络深度学习算法进行改进&＃xff0c;通过引入带 T 分布函数显层节点的输入层使其能够更好地处理行人特征信息&＃xff0c;进而通过网络预训练和网络微调实现信息分类和行人识别。

如上图 所示&＃xff0c;显层结构 v 和隐层结构 h 共同构建一个 &＃xff32;BM结构&＃xff0c;通过比较显层结构单元与隐层结构单元之间的关联差异性&＃xff0c;可调整各单元权值。由于本文采用的行人特征近似服从 T分布函数(LABH 算法提取行人特征&＃xff0c;该特征的累积概率分布近似满足 T 分布)&＃xff0c;本文搭建一种新的带 T 分布函数显层节点的 &＃xff32;BM&＃xff0c;在显层结构和隐层结构之间实现将 T 分布函数转换成伯努利分布的功能。在带 T 分布函数显层节点的 &＃xff32;BM 中&＃xff0c;显层结构服从 T 分布&＃xff0c;隐层结构服从伯努利分布&＃xff0c;其能量函数表达式如下:

u为 T 分布函数的自由度&＃xff0c;用于控制分布形态变化&＃xff0c;uu−2为 T 分布函数的方差值.

和传统的 &＃xff32;BM 类似&＃xff0c;带 T 分布函数显层节点的 &＃xff32;BM 的联合分布与能量函数的关系表达式为:

带 T 分布函数显层节点的 &＃xff32;BM 中&＃xff0c;显层和隐层节点对应的条件概率可表示为

1.2 深信度网络搭建及预训练

本文搭建的深信度网络由一层带 T 分布函数显层节点的&＃xff32;BM、多层传统的隐层 &＃xff32;BM 和一层 BP 网络构成。其中&＃xff0c;带 T分布函数显层节点的 &＃xff32;BM 为数据输入层&＃xff0c;将行人特征信息转换为深信度网可以识别的伯努利数据&＃xff0c;数据经过转换后&＃xff0c;在多层 &＃xff32;BM 中经过提取和抽象&＃xff0c;保留关键信息并剔除冗余信息&＃xff0c;最后一层 BP 网络是系统的输出层&＃xff0c;经多层 &＃xff32;BM 转换后的信息进入 BP 层&＃xff0c;利用 BP 网络的反向传播能力&＃xff0c;对输出结构进行监督&＃xff0c;反向微调整个深信度网络模型参数&＃xff0c;达到优化模型分类效果的目的。本文搭建的深信度网络模型示意图如下图 所示。该示意图由一层带 T 分布函数显层节点的 &＃xff32;BM、两层隐层&＃xff32;BM 和一层 BP 网络构成&＃xff0c;数据由底部的带 T 分布函数显层节点的 &＃xff32;BM 输入&＃xff0c;由顶部 BP 网络输出&＃xff0c;顶部 BP 网络有反向转播和微调整个深信度网络模型的能力&＃xff0c;从而优化模型结构。

1.3 微调

深信度网络微调阶段的实现过程分两个步骤: a) 利用 BP 网络的向前传播性能&＃xff0c;将连接 BP 网络的&＃xff32;BM 处理后的信息经进一步处理后&＃xff0c;将分类结果输出; b) 反向传播&＃xff0c;通过比较 BP 网络输出结果与真实结果&＃xff0c;得出两者之间的误差值&＃xff0c;将其反向传播至输入端&＃xff0c;利用共轭梯度法优化分类模型的参数。

2 基于深信度网络的行人特征分类

2.1 预处理

本文使用 LABH 算法提取行人特征&＃xff0c;该特征的累积概率分布近似满足 T 分布。将行人样本库进行如下处理: a) 利用 LABH 算法提取行人特征; b) 确定 T 分布的自由度参数取值&＃xff0c;拟合行人特征分布; c) 根据行人特征分布区间计算特征项的权重值。

2.2 行人特征分类器

3 性能评价

其结构特征对性能影响

现有的深信度网络分类器多采用高斯( 显层) —伯努利( 隐层) &＃xff32;BM 实现语音、图像等数据的分类识别。本节通过实验对传统的高斯( 显层) —伯努利( 隐层) &＃xff32;BM 和本文提出的带 T 分布( 显层) —伯努利( 隐层) 的 &＃xff32;BM 检测结果加以对比&＃xff0c;并对本文所提出算法的检测性能进行分析和评估。

对各分类的比较