当前位置: 开发笔记 > 编程语言 > 正文

国科大高级人工智能2人工神经网络（MLP、Hopfield）

作者：捕鱼达人2602890295 | 来源：互联网 | 2023-07-03 19:56

常见组合函数

国科大高级人工智能2-人工神经网络（MLP、Hopfield）

常见**函数

国科大高级人工智能2-人工神经网络（MLP、Hopfield）

结构

前馈神经网络（单向）
反馈/循环神经网络

学习方法

学习模型
- 增量
- 迭代
类型
- 监督
- 无监督
学习策略
- Hebbrian Learning
  - 若两端的神经元同时**，增强联接权重
  - Unsupervised Learning
  - 循环？
  - $ω_{i j} (t + 1) = ω_{i j} (t) + η (x_{i} (t), x_{j} (t)) \omega_{ij}(t+1)=\omega_{ij}(t)+\eta(x_i(t),x_j(t))$
- Error Correction
  - 最小化实际和输出的误差
    - BP
      - 目标函数： $\omega^* =argmin_{\omega} \frac{1}{K} \Sigma_{k=1}^Ke(D_k,Y_k)$
      - 迭代： $\omega \leftarrow \omega+\Delta \omega= \omega+\eta \delta$
    - delta rule(LMS rule,windrow-hoff
- 随机学习（模拟退火？）
  - 采用随机模式，跳出局部极小
    - 如果网络性能提高，新参数被接受.
    - 否则，新参数依概率接受

重要的ANN

	…损失函数…	…目标函数…	…**函数…	…更新…	特点
多层感知机（MLP，全连接)	L(y,f(x))	$R (f) = \int L (y, f (x)) p (x, y) d x, R_{e m f} = Σ L (y, f (x)) R(f) =\int L(y,f(x))p(x,y)dx,R_{emf}=\Sigma L(y,f(x))$	$v=\sigma_i\omega_ix_i,y=f(v)$	梯度法	-
多层感知机（MLP，全连接–>BP网络)	平方误差	-	$v=\sigma_i\omega_ix_i,y=f(v)，f是sigmoid，\omega=argmin(E)$	输入从前向后，损失从后向前（链式法则）,梯度下降法	允许非线性，收敛慢，过拟合，局部极小，表达能力强，容易执行
单层感知机	看分类对错	-	$\omega x=0,一面1，一面-1，权向量是一个超平面$	$\omega=\omega+y^* ·x，y^* =1或-1（C，真实y，正确：y^* =y )$	仅当线性可分时收敛，对噪声（不可分）/泛化性不好
单层感知机(最小二乘法）	平方损失 $\frac{1}{2}\Sigma_{i=1}^n\Sigma_{k=1}^m(y_k(x_i)-t_{k,i})^2$	-	$y=v(线性的）$	$w^T=(X^TX)^{-1}X^TT$	仅当线性可分时收敛，对噪声（不可分）/泛化性不好
单层感知机(改进）	平方损失E= $\frac{1}{2}\Sigma_{i=1}^n\Sigma_{k=1}^m(y_k(x_i)-t_{k,i})^2$	-	$y=\frac{1}{1+e^{-v}}(sigmoid$	$\frac{
\partial E}{\partial w_k}=\Sigma_{i=1}^{n\Sigma_{k=1}}m(y_k(x_i)-t_{k,i})y_k(x_i)(1-y_k(x_i))x_i$	仅当线性可分时收敛，对噪声（不可分）,泛化性不好
支持向量机	-	最大化间隔，约束： $min_\omega \frac{1}{2} \\|\omega\\|^2,y_i\omega^Tx_i \geq 1，任意i，小于则为0（relu)$	-	-	可以找到最好的分界面，解决了泛化性
Hopfield网络(能量稳定点-记忆）	-	有输入： $E=-\frac{1}{2}\Sigma_{i=0}^n\Sigma_{j=0}^n\omega_{ij}s_is_j-\Sigma_{i=0}^nI_is_i,没有输入则去除后面的$	wij=ji(i！=j)	$权值是设定的w_{ij}=\Sigma_{k=1}^Kx_{ik}x_{jk},i\neq j,否则0(n* n矩阵）（s=x)$	f分布式记忆，动态联想，记忆容量有限，伪稳定点的联想与记忆，样本接近时，难以回忆

感知机

感知机收敛定理：线性可分则收敛
- w、x是增广得到的
- 若数据集可分，
  - 存在 $w^{*} (∣ ∣ w^{*} ∣ ∣ = 1), γ > 0, 使得 y_{t} w^{*} x_{t} \geq γ w^* (||w^* ||=1),\gamma>0,使得y_tw^* x_t\geq \gamma$
- 令最终分离超平面参数为 $w^* (||w^* ||=1)$
  - $w_kw^* =(w_{k-1}+x_ty_t)w^* \geq w_{k-1}w^* + \gamma \geq ...\geq k\gamma$
  - $||w_k||^2=||w_{k+1}+x_ty_t||^2=||w_{k-1}||^2+2w_{k-1}^Tx_ty_t+||x_t||^2$ ——yt=1
  - $\leq ||w_{k-1}||^2+||x_t||^2\leq ||w_{k-1}||^2+R^2 \leq ...\leq kR^2$
  - 所以 $k\gamma \leq w_kw^* \leq ||w_k||||w^* || \leq \sqrt{k} R$
  - $k\leq \frac{R^2}{\gamma^2}$
改进
- sigmoid**函数
  - 批处理
    - 一次性更新权重
    - 收敛慢
  - 增量模式
    - 逐样本更新
    - 随机近似，但速度快能保证收敛
MLP（多层感知机
- 在实际应用中
  - 预处理很重要—normalize
  - 调整学习率—— $\eta_t=1/t$
- 表达能力强
- 容易执行
- 收敛速度慢
  - newton法
- 过拟合（
  - 正则化，约束权值平滑性
  - 采用更少的隐层单元
- 局部极小（不同的初始化，增加扰动
- 三层-所有连续函数
- 4层：多层连续
- 权重如何学习？BP–链式法则计算反向传递

Hopfield

应用
- 将优化目标函数转换成能量函数(energy function)——网络的稳定状态是优化问题的解
两个稳态：——>解
- E最大——>w1
- E最小——>w2
两个工作方式
- 异步：每次只改变一个状态x_i
- 同步：所有状态均改变：x1~xn
反馈网络（无向有权图）
权值是设定的，而不是学习出来的
TSP:
- Hopfield网络：l邻接矩阵
- 行：城市；列：时间，每行只有一个亮，每列也只有一个on

推荐阅读

io
深入浅出TensorFlow数据读写机制

本文详细介绍TensorFlow中的数据读写操作，包括TFRecord文件的创建与读取，以及数据集（dataset）的相关概念和使用方法。 ... [详细]

蜡笔小新 2024-12-19 16:23:17
io
从零构建递归神经网络：仅用NumPy实现

尽管使用TensorFlow和PyTorch等成熟框架可以显著降低实现递归神经网络（RNN）的门槛，但对于初学者来说，理解其底层原理至关重要。本文将引导您使用NumPy从头构建一个用于自然语言处理（NLP）的RNN模型。 ... [详细]

蜡笔小新 2024-12-26 11:29:15
io
机器学习中的相似度度量与模型优化

本文探讨了机器学习中常见的相似度度量方法，包括余弦相似度、欧氏距离和马氏距离，并详细介绍了如何通过选择合适的模型复杂度和正则化来提高模型的泛化能力。此外，文章还涵盖了模型评估的各种方法和指标，以及不同分类器的工作原理和应用场景。 ... [详细]

蜡笔小新 2024-12-26 18:10:02
io
Coursera ML 机器学习

2019独角兽企业重金招聘Python工程师标准线性回归算法计算过程CostFunction梯度下降算法多变量回归![选择特征](https:static.oschina.n ... [详细]

蜡笔小新 2024-12-22 16:09:09
io
QUIC协议：快速UDP互联网连接

QUIC（Quick UDP Internet Connections）是谷歌开发的一种旨在提高网络性能和安全性的传输层协议。它基于UDP，并结合了TLS级别的安全性，提供了更高效、更可靠的互联网通信方式。 ... [详细]

蜡笔小新 2024-12-28 12:33:18
io
解决 IIS 中 PHP 页面无法访问的问题

本文介绍如何解决在 IIS 环境下 PHP 页面无法找到的问题。主要步骤包括配置 Internet 信息服务管理器中的 ISAPI 扩展和 Active Server Pages 设置，确保 PHP 脚本能够正常运行。 ... [详细]

蜡笔小新 2024-12-28 11:54:54
io
Python 异步编程：深入理解 asyncio 库（上）

本文介绍了 Python 3.4 版本引入的标准库 asyncio，该库为异步 IO 提供了强大的支持。我们将探讨为什么需要 asyncio，以及它如何简化并发编程的复杂性，并详细介绍其核心概念和使用方法。 ... [详细]

蜡笔小新 2024-12-28 11:52:00
byte
优化ListView性能

本文深入探讨了如何通过多种技术手段优化ListView的性能，包括视图复用、ViewHolder模式、分批加载数据、图片优化及内存管理等。这些方法能够显著提升应用的响应速度和用户体验。 ... [详细]

蜡笔小新 2024-12-28 10:36:30
char
使用Objective-C和dispatch库实现并发素数计算

本文介绍如何使用Objective-C结合dispatch库进行并发编程，以提高素数计数任务的效率。通过对比纯C代码与引入并发机制后的代码，展示dispatch库的强大功能。 ... [详细]

蜡笔小新 2024-12-28 08:44:35
select
毕业设计：基于机器学习与深度学习的垃圾邮件（短信）分类算法实现

本文详细介绍了如何使用机器学习和深度学习技术对垃圾邮件和短信进行分类。内容涵盖从数据集介绍、预处理、特征提取到模型训练与评估的完整流程，并提供了具体的代码示例和实验结果。 ... [详细]

蜡笔小新 2024-12-25 17:38:50
io
信用评分卡的Python实现与评估

本文介绍如何使用Python构建和评估信用评分卡模型，涵盖数据预处理、模型训练及验证指标选择。附带详细代码示例和视频教程链接。 ... [详细]

蜡笔小新 2024-12-25 10:16:23
io
探索电路与系统的起源与发展

本文回顾了电路与系统的发展历程，从电的早期发现到现代电子器件的应用。文章不仅涵盖了基础理论和关键发明，还探讨了这一学科对计算机、人工智能及物联网等领域的深远影响。 ... [详细]

蜡笔小新 2024-12-24 13:57:05
io
优化深度神经网络在低性能硬件上的运行

尽管深度学习带来了广泛的应用前景，其训练通常需要强大的计算资源。然而，并非所有开发者都能负担得起高性能服务器或专用硬件。本文探讨了如何在有限的硬件条件下（如ARM CPU）高效运行深度神经网络，特别是通过选择合适的工具和框架来加速模型推理。 ... [详细]

蜡笔小新 2024-12-24 08:48:32
io
机器学习核心概念与技术

本文系统梳理了机器学习的关键知识点，涵盖模型评估、正则化、线性模型、支持向量机、决策树及集成学习等内容，并深入探讨了各算法的原理和应用场景。 ... [详细]

蜡笔小新 2024-12-22 09:15:30
io
2017年人工智能领域的十大里程碑事件回顾

随着2018年的临近，我们一同回顾过去一年中人工智能领域的重要进展。这一年，无论是政策层面的支持，还是技术上的突破，都显示了人工智能发展的迅猛势头。以下是精选的2017年人工智能领域最具影响力的事件。 ... [详细]

蜡笔小新 2024-12-16 17:59:16