国科大高级人工智能2人工神经网络（MLP、Hopfield）

感知机收敛定理：线性可分则收敛

• w、x是增广得到的
• 若数据集可分，
  • 存在$w^{\ast }(\mathrm{\mid }\mathrm{\mid }{w}^{\ast }\mathrm{\mid }\mathrm{\mid }=1),\gamma >0,\mathrm{使}\mathrm{得}{y}_t{w}^{\ast }{x}_t\ge \gamma$w∗(∣∣w∗∣∣=1),γ>0,使得yt​w∗xt​≥γ
• 令最终分离超平面参数为$w^* (||w^* ||=1)$w∗(∣∣w∗∣∣=1)
  • $w_kw^* =(w_{k-1}+x_ty_t)w^* \geq w_{k-1}w^* + \gamma \geq ...\geq k\gamma$wk​w∗=(wk−1​+xt​yt​)w∗≥wk−1​w∗+γ≥...≥kγ
  • $||w_k||^2=||w_{k+1}+x_ty_t||^2=||w_{k-1}||^2+2w_{k-1}^Tx_ty_t+||x_t||^2$∣∣wk​∣∣2=∣∣wk+1​+xt​yt​∣∣2=∣∣wk−1​∣∣2+2wk−1T​xt​yt​+∣∣xt​∣∣2——yt=1
  • $\leq ||w_{k-1}||^2+||x_t||^2\leq ||w_{k-1}||^2+R^2 \leq ...\leq kR^2$≤∣∣wk−1​∣∣2+∣∣xt​∣∣2≤∣∣wk−1​∣∣2+R2≤...≤kR2
  • 所以$k\gamma \leq w_kw^* \leq ||w_k||||w^* || \leq \sqrt{k} R$kγ≤wk​w∗≤∣∣wk​∣∣∣∣w∗∣∣≤k​R
  • $k\leq \frac{R^2}{\gamma^2}$k≤γ2R2​

改进

• sigmoid**函数
  • 批处理
    • 一次性更新权重
    • 收敛慢
  • 增量模式
    • 逐样本更新
    • 随机近似，但速度快能保证收敛

MLP（多层感知机

• 在实际应用中
  • 预处理很重要—normalize
  • 调整学习率——$\eta_t=1/t$ηt​=1/t
• 表达能力强
• 容易执行
• 收敛速度慢
  • newton法
• 过拟合（
  • 正则化，约束权值平滑性
  • 采用更少的隐层单元
• 局部极小（不同的初始化，增加扰动
• 三层-所有连续函数
• 4层：多层连续
• 权重如何学习？BP–链式法则计算反向传递

• 将优化目标函数转换成能量函数(energy function)——网络的稳定状态是优化问题的解

• E最大——>w1
• E最小——>w2

• 异步：每次只改变一个状态x_i
• 同步：所有状态均改变：x1~xn

• Hopfield网络：l邻接矩阵
• 行：城市；列：时间，每行只有一个亮，每列也只有一个on