离散Hopfield神经网络

Hopfield网络作为一种全连接型的神经网络，曾经为人工神经网络的发展开辟了新的研究途径。它利用与阶层型神经网络不同的结构特征和学习方法，模拟生物神经网络的记忆机理，获得了令人满意的结果。之以网络及学习算法最初有美国物理学家Hopfield于1982年首先提出。

Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和-1，所以，也称离散Hopfield神经网络（DHNN，Discrete Hopfield Neural Network）。在离散Hopfield网络中，所采用的神经元是二值神经元，因此，所输出的离散值1和-1分别表示神经元处于激活和抑制状态。

网络结构
DHNN是一种单层、输出为二值的反馈网络。假设有一个由三个神经元组成的离散Hopfield神经网络，其结构如图所示：

在图中，第0层仅仅作为网络的输入，它不是实际神经元，所以无计算功能；第一层是神经元，故而执行对输入信息与权系数的乘积求累加和，并经非线性函数f处理后产生输出信息。f是一个简单的阈值函数，如果神经元的输出信息大于阈值 \sit ，那么，神经元的输出取值为1；小于阈值，则神经元的输出为-1。

对于二值神经元，它的计算公式如下：
uj=∑iωijyi+xj
式中， xi 为外部输入。并且有：
{yi=1yi=−1uj≥θjuj<θj
一个DHNN的网络状态是输出神经元信息的集合，对于一个输出层是n的神经元网络，其t时刻的状态为一个n为向量：
Y(t)=[y1(t),y2(t),...,yn(t)]T
因为 yi(t)（i=1,2,...,n） 可以取值为1或-1，故n维向量 Y(t) 有 2n 种状态，即网络有 2n 中状态。考虑到DHNN的一般节点状态，用 yj(t) 表示第j个神经元，及节点j在时刻t的状态，则节点的嘻嘻啊一个时刻（t+1）的状态可以求得：
yi(t+1)=f[uj(t)]={1−1uj(t)≥0uj(t)<0
uj(t)=∑inωijyi(t)+xj−θj
如果 ωij 在 i=j 是等于0，说明一个神经元的输出并不会反馈到其输入，这时，DHNN为无自反馈的网络。如果 ωij 在 i=j 是不等于0，说明一个神经元的输出会反馈到其输入端，这时DHNN称为自反馈网络。