热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

深度学习基础学习笔记深度学习的引出

课程:中国大学Mooc《深度学习基础》哈尔滨工业大学,刘远超深度学习的引出目录1.什么是机器学习2.从简单线性分类器到深度学习(一

课程:中国大学Mooc《深度学习基础》哈尔滨工业大学,刘远超

深度学习的引出

目录

1. 什么是机器学习

2. 从简单线性分类器到深度学习(一)

3. 从简单线性分类器到深度学习(二)

4. 什么是深度学习?




1. 什么是机器学习

举例:假设有两类数据,分别对应下图中两种不同类型的点,每个点的横纵坐标x和y已知,每个点对应的类别也已知,那么我们能否找到一种自动的方法来将两类数据分开呢?这是一个分类问题。

(1)首先会考虑找到一条直线将其分开,直线表达式为y = f(x) = w1x+w0,则这个直线就是我们为这个分类问题所假设的模型,(机器学习中的模型可以通俗的理解为函数);

(2)下一步要确定其中的两个权重w1,w0的具体取值,这样这条直线的位置才能确定,

(本例中的权重通常在机器学习中被称为模型参数,简称参数,参数是指模型可以根据训练数据通过学习自动确定其取值的变量)

本例中这条直线怎么画取决于图中两类数据点的分布情况,因此需要利用图中这些数据点来确定w1和w0的取值,这个过程在机器学习中被称为模型的训练。

(可见训练过程通常要利用到已明确分类结果的样本数据集(训练集),训练的过程实质上是求解模型的参数的过程)

(3)最后假设已经通过训练学习得到了权重w1和w0的最终的取值,从而这条直线的位置得以最终确定。

这就相当于经过训练为机器学习中模型的每个参数都找到了最终的明确的取值。

最终训练好的模型的用途:

假设有一个新的未知分类结果的数据点,我们就需要利用最终训练好的模型来对该测试数据进行分类/判别得到结果,就可以判断其属于哪一个类

还可以用曲线来进行分类,函数的表达式可能是类似多项式的表达式;在更为复杂的高维空间中还可能用曲面来进行分类;但机器学习过程大体类似。

 

机器学习一般性定义如下:

机器学习是对研究问题进行模型假设,利用计算机从训练数据中学习得到模型参数。并最终对数据进行预测和分析的一门学科。


2. 从简单线性分类器到深度学习(一)

问题:根据繁华程度(x1)、交通便利度(x2)、与市中心距离(x3)、楼层(x4)预测房价的高低:

以下就是采用简单线性分类器的方法。

我们可以采用简单的线性分类器及简单的加权计算的方式来判断房价高低,可以画出如下关系图:

其中x1,x2,x3,x4表示输入,W表示由各个分量的权重w1,w2,w3,w4构成的向量,y为输出

根据此图,可以写出如下公式:

公式中f函数的作用是如果括号内的加权求和的结果大于或等于阈值预期,则输出1,表示房价较高,否则输出0,表示房价较低;

以上就是采用简单线性分类器的方法。


3. 从简单线性分类器到深度学习(二)

对于同样的问题,如果采用深度学习的方法解决,

以最简单的深度学习模型为例,通常是在线性模型中间加上若干中间层,比如下图增加了一个中间层。

(1)这个中间层有三个节点,h1,h2,h3,此时对于输入样本X的四个分量x1,x2,x3,x4,中间层三个节点取值的计算方法分别如上图右边三个公式所示,

其中U是参数,其含义是从输入层节点到中间层节点之间连线的权重,我们看到U实际上是一个参数矩阵,例如其中的元素U12表示h1和x2之间的连线的权重。

(2)然后从中间层的三个节点来计算y,该公式和上面线性分类器的公式很类似,可见深度学习的特点是增加了中间层;

可以看到本例中样本X在输入时有四个特征,经过中间层处理变成了三个特征,因此深度学习的另外一个特点是通过组合低层特征形成了更加抽象的高层特征;

而这个模型中的U,W等参数的取值需要在训练中通过反向传播来进行多次的迭代调整,以便使得整体的分类误差最小;

此外,本例中给出的只有一个中间层,多数的深度学习网络往往具有多个中间层(隐藏层),且网络结构更复杂。


4. 什么是深度学习?


  • 一种实现机器学习的技术,是机器学习重要的分支
  • 源于人工神经网络的研究,深度学习的模型结构是一种含多隐藏层的神经网络。
  • 通过组合低层特征形成更加抽象的高层特征

 

 

 

 


推荐阅读
  • 资源推荐 | TensorFlow官方中文教程助力英语非母语者学习
    来源:机器之心。本文详细介绍了TensorFlow官方提供的中文版教程和指南,帮助开发者更好地理解和应用这一强大的开源机器学习平台。 ... [详细]
  • 机器学习中的相似度度量与模型优化
    本文探讨了机器学习中常见的相似度度量方法,包括余弦相似度、欧氏距离和马氏距离,并详细介绍了如何通过选择合适的模型复杂度和正则化来提高模型的泛化能力。此外,文章还涵盖了模型评估的各种方法和指标,以及不同分类器的工作原理和应用场景。 ... [详细]
  • 毕业设计:基于机器学习与深度学习的垃圾邮件(短信)分类算法实现
    本文详细介绍了如何使用机器学习和深度学习技术对垃圾邮件和短信进行分类。内容涵盖从数据集介绍、预处理、特征提取到模型训练与评估的完整流程,并提供了具体的代码示例和实验结果。 ... [详细]
  • 尽管深度学习带来了广泛的应用前景,其训练通常需要强大的计算资源。然而,并非所有开发者都能负担得起高性能服务器或专用硬件。本文探讨了如何在有限的硬件条件下(如ARM CPU)高效运行深度神经网络,特别是通过选择合适的工具和框架来加速模型推理。 ... [详细]
  • Coursera ML 机器学习
    2019独角兽企业重金招聘Python工程师标准线性回归算法计算过程CostFunction梯度下降算法多变量回归![选择特征](https:static.oschina.n ... [详细]
  • 机器学习核心概念与技术
    本文系统梳理了机器学习的关键知识点,涵盖模型评估、正则化、线性模型、支持向量机、决策树及集成学习等内容,并深入探讨了各算法的原理和应用场景。 ... [详细]
  • 2017年人工智能领域的十大里程碑事件回顾
    随着2018年的临近,我们一同回顾过去一年中人工智能领域的重要进展。这一年,无论是政策层面的支持,还是技术上的突破,都显示了人工智能发展的迅猛势头。以下是精选的2017年人工智能领域最具影响力的事件。 ... [详细]
  • 吴恩达推出TensorFlow实践课程,Python基础即可入门,四个月掌握核心技能
    量子位报道,deeplearning.ai最新发布了TensorFlow实践课程,适合希望使用TensorFlow开发AI应用的学习者。该课程涵盖机器学习模型构建、图像识别、自然语言处理及时间序列预测等多个方面。 ... [详细]
  • 卷积神经网络(CNN)基础理论与架构解析
    本文介绍了卷积神经网络(CNN)的基本概念、常见结构及其各层的功能。重点讨论了LeNet-5、AlexNet、ZFNet、VGGNet和ResNet等经典模型,并详细解释了输入层、卷积层、激活层、池化层和全连接层的工作原理及优化方法。 ... [详细]
  • 本文深入探讨了基于Pairwise和Listwise方法的排序学习,结合PaddlePaddle平台提供的丰富运算组件,详细介绍了如何通过这些方法构建高效、精准的排序模型。文章不仅涵盖了基础理论,还提供了实际应用场景和技术实现细节。 ... [详细]
  • 深入浅出TensorFlow数据读写机制
    本文详细介绍TensorFlow中的数据读写操作,包括TFRecord文件的创建与读取,以及数据集(dataset)的相关概念和使用方法。 ... [详细]
  • 本文探讨了亚马逊Go如何通过技术创新推动零售业的发展,以及面临的市场和隐私挑战。同时,介绍了亚马逊最新的‘刷手支付’技术及其潜在影响。 ... [详细]
  • 基于2-channelnetwork的图片相似度判别一、相关理论本篇博文主要讲解2015年CVPR的一篇关于图像相似度计算的文章:《LearningtoCompar ... [详细]
  • 在Ubuntu 16.04中使用Anaconda安装TensorFlow
    本文详细介绍了如何在Ubuntu 16.04系统上通过Anaconda环境管理工具安装TensorFlow。首先,需要下载并安装Anaconda,然后配置环境变量以确保系统能够识别Anaconda命令。接着,创建一个特定的Python环境用于安装TensorFlow,并通过指定的镜像源加速安装过程。最后,通过一个简单的线性回归示例验证TensorFlow的安装是否成功。 ... [详细]
  • 李宏毅机器学习笔记:无监督学习之线性方法
    无监督学习主要涵盖两大类别:一是聚类与降维,旨在简化数据结构;二是生成模型,用于从编码生成新的数据样本。本文深入探讨了这些技术的具体应用和理论基础。 ... [详细]
author-avatar
liutiancinet
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有