bp神经网络隐含层神经元个数_FNN外其他常见神经网络模型，如RBF、SOM、级联相关网络、Boltzmann机精简介绍...

• Ø RBF&＃xff1a;分类任务中除BP之外最常用
• Ø ART&＃xff1a;“竞争学习”的代表 &＃xff08;本文未提&＃xff09;
• Ø SOM&＃xff1a;最常用的聚类方法之一
• Ø 级联相关网络&＃xff1a;“构造性”神经网络的代表
• Ø Elman网络&＃xff1a;递归神经网络的代表
• Ø Boltzmann机&＃xff1a;“基于能量的模型”的代表 &＃xff08;本文未提&＃xff09;
• Ø ……

RBF 神经网络 RBF: Radial Basis Function (径向基函数)

• 单隐层前馈神经网络

• 使用径向基函数作为隐层神经元激活函数 &＃xff0c;例如高斯径向基函数

• 输出层是隐层神经元输出的线性组合

训练&＃xff1a;

Step1&＃xff1a;确定神经元中心&＃xff0c;常用的方式包括随机采样、聚类等

Step2&＃xff1a;利用BP算法等确定参数

RBF与BP网络的区别

1、局部逼近与全局逼近&＃xff1a;

Ø BP&＃xff1a;各调参数对网络的输出具有 同等地位的影响&＃xff0c;因此BP神经网 络是对非线性映射的全局逼近。

Ø RBF网络的输出与部分调参数有 关&＃xff0c;譬如&＃xff0c;一个wij值只影响一个yi的输出&＃xff0c;RBF神经网络因此 具有“局部映射”特性。&＃xff08;我们的人脑很多时候也是对局部信号作出反应&＃xff09;

2、中间层数的区别

BP神经网络可以有多个隐含层&＃xff0c; 但是RBF只有一个隐含层。

3、训练速度的区别

使用RBF的训练速度快&＃xff0c;一方面是因为隐含层较少&＃xff0c;另一方面&＃xff0c;局部逼近可 以简化计算量。对于一个输入x&＃xff0c;只有部分神经元会有响应&＃xff0c;其他的都近似为0&＃xff0c; 对应的w就不用调参了

SOM 神经网络

SOM: Self-Organizing feature Map (自组织特征映射)

• 神经网络在接受外界输入时&＃xff0c;将会分成不同区域&＃xff0c;不同区域对不同 模式具有不同的响应特征。如人对猫和狗的概念储存在不同区域。

• 竞争型的无监督神经网络

• 将高维数据映射到低维空间&＃xff08;通常为2 维&＃xff09;,高维空间中相似的样本点映射到 网络输出层中邻近神经元

• 目标&＃xff1a;为每个输出层神经元找到合适的 权向量以保持拓扑结构

训练&＃xff1a;

• 网络接收输入样本后&＃xff0c;将会确定输出层的“获胜”神经元&＃xff08;“胜者通吃”&＃xff09;

• 获胜神经元的权向量将向当前输入样本移动

假如输入的数据样本在N为空间上均匀分布&＃xff08;样本点在高维空间呈格子状&＃xff09;&＃xff0c; 初始化时的权重w为随机&＃xff0c;那么输出层也是随机的&＃xff0c;如图(1)。通过不断的迭代 修改权值w&＃xff0c;输出层慢慢也呈现出均匀格子结构&＃xff0c;如(1)-(8)变化。这个例子说 明SOM神经网络可以把高维空间映射到平面&＃xff0c;从而实现降维。

级联相关网络

CC: Cascade-Correlation (级联相关)

构造性神经网络&＃xff1a;将网络的结构也当做学习的目标之一&＃xff0c;希望在训练过程中找到适合数据的网络结构

训练&＃xff1a;

• 开始时只有输入层和输出层

• 级联-新的隐层结点逐渐加入&＃xff0c;从而创建起层级结构

• 相关-最大化新结点的输出与网络误差之间的相关性

Elman 网络

递归神经网络&＃xff1a;Recurrent NN, 亦称Recursive NN

•网络中可以有环形结构, 可让使一些神经元的输出反馈回来作为输入

• t 时刻网络的输出状态&＃xff1a;由t 时刻的输入状态和t-1 时刻的网络状态 共同决定

Elman 网络是最常用的递归神经网络之一

• 结构与前馈神经网络很相似, 但隐层神经元 的输出被反馈回来

• 使用推广的BP算法训练

目前在自然语言处理等领域常用的LSTM 网络&＃xff0c; 是一种复杂得多的递归神经网络

参考文献&＃xff1a;周志华西瓜书