神经网络的结构

神经网络的结构

        神经网络中神经元的构造方式与用于训练网络的学习算法有着紧密的联系。我们可以说用于神经网络设计的学习算法 (规则) 是被构造的。
        一般说来，我们可以区分三种基本不同的网络结构。

单层前馈网络
        在分层网络中，神经元以层的形式组织。在最简单的分层网络中，源节点构成输入层，直接投射到神经元输出层 (计算节点) 上，反之则不然。也就是说，这个网络是严格前馈的。如图 15 所示，输出输入层各有 4 个节点。这样的网络称为单层网。单层指的是计算节点 (神经元) 输出层。我们不把源节点的输入层计算在内，因为在这一层没有进行计算。

多层前馈网络
        前馈神经网络的第二种网络有一层或多层隐藏层，相应的计算节点称为隐藏神经元或隐藏单元。隐藏是指神经网络的这一部分无论从网络的输入端或者输出端都不能直接看到。隐藏神经元的功能是以某种有用的方式介入外部输入和网络输出之中。通过增加一个或多个隐藏层，网络可以根据其输入引出高阶统计特性。即使网络为局部连接，由于额外的突触连接和额外的神经交互作用。也可以使网络在不十分严格的意义下获得一个全局关系 (Churchland and Sejnowski, 1992)。

        网络输入层的源节点提供激活模式的元素 (输入向量)，组成第二层 (第一隐藏层) 神经元 (计算节点) 的输入信号。第二层的输出信号作为第三层输入，这样一直传递下去。通常，每一层的输入都是上一层的输出，最后的输出层给出相对于源节点的激活模式的网络输出。结构图如图 16 所示，图中只有一个隐藏层以简化神经网络的布局。这是一个 10 &＃8211; 4 &＃8211; 2 网络，其中有 10 个源节点，4 个隐藏神经元，2 个输出神经元。作为另外一个例子，具有 m 个源节点的前馈网络，第一个隐藏层有 h1 个神经元，第二个隐藏层有 h2 个神经元，输出层有 q 个神经元，可以称为 m &＃8211; h1 &＃8211; h2 &＃8211; q 网络。

图 16 的网络也可以称为完全连接网络，这是指相邻层的任意一对节点都有连接。如果不是这样，我们称之为部分连接网络。

递归网络
        递归网络和前馈网络的区别在于它至少有一个反馈环。如图 17 所示，递归网络可以由单层神经元组成，单层网络的每一个神经元的输出都反馈到所有其他神经元的输入中。这个图中描绘的结构没有自反馈环；自反馈环表示神经元的输出反馈到它自己的输入上。图 17 也没有隐藏层。
        图 18 所示是带有隐藏神经元的另一类递归网络，反馈连接的起点包括隐藏层神经元和输出神经元。

        无论是在图 17 或图 18 的递归结构中，反馈环的存在对网络的学习能力和它的性能都有深刻的影响。并且，由于反馈环涉及使用单位时间延迟元素 (记为 z^-1) 构成的特殊分支，假如神经网络包含非线性单元，将导致非线性的动态行为。

References
(加) Simon Haykin (海金) 著, 申富饶, 徐烨, 郑俊, 晁静 译. 神经网络与机器学习[M]. 北京:机械工业出版社, 2011. 1-572