人工智能基础_逻辑回归及神经网络实现20211001

作者：倩女墨镜aaaaa_259 | 来源：互联网 | 2023-09-08 08:59

人工智能基础总目录第一章K-近邻算法第一章决策树第一章神经网络及其构成神经网络介绍人工智能基础总目录一、神经网络简介二、神经网络结构包含什么组成部分？如何工作2.2

人工智能基础总目录

第一章 K-近邻算法
第一章决策树
第一章神经网络及其构成

神经网络介绍

- 人工智能基础总目录
一、神经网络简介
二、神经网络结构
- - 包含什么组成部分&＃xff1f;
  - 如何工作
- 2.2 神经网络的特点
- 2.3 从逻辑回归到神经元
三、逻辑回归以及神经网络Python代码实战
- 3.1 逻辑回归
- 3.2 单神经元神经网络
- 3.3 单隐藏层神经网络

一般来说&＃xff0c;目前为止已经有三次深度学习的发展浪潮&＃xff1a;

20世纪40年代到60年代&＃xff0c;深度学习的雏形出现在控制论中&＃xff1b;20世纪80年代到90年代&＃xff0c;深度学习表现为联结主义&＃xff0c;直到2006年&＃xff0c;才真正以深度学习之名复兴。神经网络研究的第三次浪潮始于 2006 年的突破。Geoffrey Hinton表明名为深度信念网络(DBN)的神经网络可以使用一种称为贪心逐层训练的策略进行有效地训练(Hinton et al., 2006a)。伴随着与日俱增的数据量、硬件&＃xff08;更快的CPU、通用GPU、硬盘存储量&＃xff09;以及更好的分布式计算的软件基础设备和更快的网络连接的投放使用&＃xff0c;深度学习持续成功地应用于越来越广泛的应用&＃xff0c;比如阿尔法狗、阿尔法星和OpenAI Five都用到了深度神经网络以及强化学习&＃xff08;Reinforcemence Learning&＃xff09;的框架&＃xff0c;又比如计算机视觉、自然语言处理、自动驾驶领域都广泛的使用了深度学习的知识。因此&＃xff0c;神经网络作为深度学习的基础&＃xff0c;让我们不得不仔细深入地进行研究&＃xff0c;而且想要学好深度学习&＃xff0c;首当其冲的就是先高度认知神经网络。

一、神经网络简介

神经网络的概念人工神经网络&＃xff08; Artificial Neural Network&＃xff0c; 简写为ANN&＃xff09;也简称为神经网络&＃xff08;NN&＃xff09;&＃xff0c;核心就是让计算机模拟人脑学习的过程&＃xff0c;是一种模仿生物神经网络&＃xff08;动物的中枢神经系统&＃xff0c;特别是大脑&＃xff09;结构和功能的计算模型。它是一种算法结构&＃xff0c;能够使得及其学习一切&＃xff0c;从语音命令、播放列表到音乐创作和图像识别等。

神经网络是自动图像识别的基础&＃xff0c;近年来&＃xff0c;神经网络技术大热&＃xff0c;主要有以下3个原因&＃xff1a;

数据存储和共享技术取得进步。这为训练神经网络提供海量数据&＃xff0c;有助于改善网络的性能。
计算能力越来越强大。GPU &＃xff08;graphics processing unit,图形处理器&＃xff09;的运行速度最快能达到CPU &＃xff08;central processing unit,中央处理器&＃xff09;的150倍。之前&＃xff0c;GPU主要用来在游戏中显示高品质图像。后来&＃xff0c;人们发现它能为在大数据集上训练神经网络提供强大的支持。
算法结构的改进。虽然目前神经网络在性能上还很难与人脑媲美&＃xff0c;但是已经有一些能大幅改善其性能的技术。本文会介绍其中一些技术。

图像识别是神经网络技术的有力例证&＃xff0c;它被应用于许多领域&＃xff0c;包括视觉监控、汽车自主导航&＃xff0c;识别手写文字。

二、神经网络结构

为了识别手写数字&＃xff0c;神经网络使用多层神经元来处理输入图像&＃xff0c;以便进行预测。下图为双层神经网络示意图。

输入不同&＃xff0c;但是输出相同&＃xff0c;其中红色表示被激活的神经元。

在上图双层神经网络中&＃xff0c;虽然输入是“6”的两幅不同形态的图像&＃xff0c;但输出是一样的&＃xff0c;并且该神经网络使用不同的神经元激活路径。尽管每一个神经元组合产生的预测是唯一的&＃xff0c;但是每一个预测结果都可以由多个神经元组合实现。
神经网络通常由如下几部分组成&＃xff1a;
。输入层
该层接收输入图像的每个像素。
。隐藏层
在像素进入神经网络之后&＃xff0c;它们经过层层转换&＃xff0c;不断提高和那些标签已知的图像的整体相似度。标签已知是指神经网络以前见过这些图像。虽然转换得越多&＃xff0c;预测准确度就会越高&＃xff0c;但是处理时间会明显增加。一般来说&＃xff0c;几个隐藏层就足够了。
。输出层
该层产生最终预测结果。
。损失层
虽然上图并未显示损失层&＃xff0c;但是在神经网络的训练过程中&＃xff0c;损失层是存在的。该层通常位于最后&＃xff0c;并提供有关输入是否识别正确的反馈&＃xff1b;如果不正确&＃xff0c;则给出误差量。

在训练神经网络的过程中&＃xff0c;损失层至关重要。若预测正确&＃xff0c;来自于损失层的反馈会强化产生该预测结果的激活路径&＃xff1b;若预测错误&＃xff0c;则错误会沿着路径逆向返回&＃xff0c;这条路径上的神经元的激活条件就会被重新调整&＃xff0c;以减少错误。这个过程称为反向传播。

通过不断重复这个训练过程&＃xff0c;神经网络会学习输入信号和正确输出标签之间的联系&＃xff0c;并且把这些联系作为激活规则编入每个神经元。因此&＃xff0c;为了提高神经网络的预测准确度&＃xff0c;需要调整管理激活规则的部件。

包含什么组成部分&＃xff1f;

经典的神经网络结构包含三个层次的神经网络。分别输入层&＃xff0c;输出层以及隐藏层&＃xff08;也称中间层&＃xff09;。

如何工作

分为两种状态&＃xff1a;学习和工作状态。学习状态指的是使用学习算法来调整神经元之间的连接权重&＃xff0c;使得网络的输出更符合实际。工作状态指的是神经元之间连接权重不变&＃xff0c;他可以作为分类器、预测器等使用。
两个概念&＃xff1a;激励函数和学习规则&＃xff1a;激励函数&＃xff08;激活&＃xff09;是触发计算的阈值函数&＃xff1b;学习规则是不断迭代减少误差的过程。