《机器学习》周志华CH1绪论

文章目录1.1 引言1.2 基本术语&＃xff08;极其重要&＃xff09;1.3 假设空间1.4 归纳偏好1.5 发展历程1.6 应用现状习题

1.1 引言
机器学习(machine learning)的定义&＃xff1a;它致力于研究如何通过计算的手段&＃xff0c;利用经验来改善系统自身的性能。
在计算机系统中&＃xff0c;“经验”通常以“数据”的形式存在。
ML研究的主要内容&＃xff1a;在计算机上、从数据中产生“模型model”的算法。即是&＃xff1a;如何通过数据集产生模型&＃xff1f;因此机器学习本质上&＃xff0c;研究的是算法&＃xff1b;而这种算法的作用是&＃xff0c;从数据集中产生模型&＃xff1b;而模型的作用是&＃xff0c;当面对新的数据时&＃xff0c;模型会给我们提供一定的判断&＃xff0c;即是数据预测。
模型&＃xff0c;可以看做是&＃xff1a;从数据集中学得的结果。
机器学习&＃xff0c;是研究算法的学问。
2017.1.17记录&＃xff1b;
2017.2.5记录&＃xff1b;

1.2 基本术语&＃xff08;极其重要&＃xff09;
本节讲述了ML领域诸多经典的基本术语&＃xff0c;如果不明白这些术语的含义&＃xff0c;那么ML的学习&＃xff0c;将会寸步难行。下面&＃xff0c;将这些入门术语都做个笔记&＃xff0c;用浅显易懂的例子将它表述出来&＃xff0c;从而加深自己的理解。
机器学习的根基&＃xff0c;是数据&＃xff0c;而且是大量的数据&＃xff1b;通过将一系列的数据&＃xff0c;提取它的规律&＃xff0c;那么就能得到模型。注意&＃xff0c;ML领域的“模型”&＃xff0c;和三维建模的这个“模型”&＃xff0c;是有本质上的区别的。后者是一种几何实体&＃xff0c;而前者可以理解为一组方程。
本节的基本术语有&＃xff1a;
数据集data set&＃xff1a;机器学习的基础是数据&＃xff0c;数据的集合&＃xff1b;
示例instance/样本sample&＃xff1a;每条数据描述了一个对象的信息&＃xff0c;该对象称之为示例&＃xff0c;一般用x表示&＃xff1b;
属性attribute/特征feature&＃xff1a;数据描述的是样本在某些方面的性质&＃xff0c;称之为属性&＃xff1b;
属性值attribute value&＃xff1a;属性的取值&＃xff1b;
属性空间attribute space/样本空间sample space/输入空间input space&＃xff1a;对于一个样本而言&＃xff0c;假如它有n种属性&＃xff0c;则组成了一个n维空间&＃xff0c;称之为样本空间&＃xff1b;
特征向量feature vector&＃xff1a;示例的别名&＃xff1b;
学习learning/训练training&＃xff1a;从数据集中学得模型的过程&＃xff1b;
训练数据training data&＃xff1a;学习过程中使用的数据&＃xff1b;
训练样本training sample&＃xff1a;训练数据中的样本&＃xff1b;
训练集training set&＃xff1a;数据集分为两部分&＃xff0c;一部分用于训练模型&＃xff1b;
假设hypothesis&＃xff1a;学得的模型对应了数据集中某种潜在的规律&＃xff0c;称之为假设&＃xff1b;
真相/真实ground-truth&＃xff1a;数据集本身的潜在的规律。学习的过程就是逼近真相的过程&＃xff1b;
学习器learner&＃xff1a;模型的别称&＃xff1b;
标记label&＃xff1a;有关示例结果的信息&＃xff0c;一般用y表示&＃xff1b;
样例example&＃xff1a;具有标记信息的示例&＃xff1b;
标记空间label space/输出空间&＃xff1a;所有标记的集合构成的空间&＃xff1b;
分类classification&＃xff1a;一种典型的学习任务&＃xff0c;将数据集按一定规律分为若干类&＃xff1b;
回归regression&＃xff1a;一种典型的学习任务&＃xff0c;预测数据集对应的结果&＃xff1b;
二分类binary classification&＃xff1a;将数据集分为两类&＃xff1b;
正类positive class&＃xff1a;二分类任务其中的一类数据&＃xff1b;
反类negative class&＃xff1a;同上&＃xff1b;
多分类multi-class classification&＃xff1a;将数据集分为多类&＃xff1b;
测试testing&＃xff1a;学得模型后&＃xff0c;对其进行预测的过程。机器学习是一个反复的过程&＃xff0c;需要重复多次学习、测试、调整&＃xff0c;才能得到准确率最高的模型&＃xff1b;
测试样本testing sample&＃xff1a;被预测的样本&＃xff1b;
聚类clustering&＃xff1a;无监督学习的一种&＃xff0c;将训练集的数据分为若干组&＃xff0c;而这些组事先是不知道的&＃xff1b;
簇cluster&＃xff1a;聚类得到的数据分类&＃xff1b;
监督学习supervised learning&＃xff1a;训练数据拥有标记信息&＃xff1b;
无监督学习unsupervised learning&＃xff1a;训练数据没有标记信息&＃xff1b;
泛化generalization能力&＃xff1a;学得模型适用于新样本的能力。或者说&＃xff0c;模型预测数据的精准度&＃xff1b;
独立同分布independent and identically distributed&＃xff1a;简称i,i,d。假设样本是从一个很大的数据空间中&＃xff0c;独立的从其内在分布上得到的&＃xff1b;
大概20多个专有名词&＃xff0c;一开始看的时候&＃xff0c;不可能全部都理解的很透彻。因此&＃xff0c;需要反复、多次的观看和理解。这些专有名词&＃xff0c;是ML领域不可避免的重要内容。

1.3 假设空间
学习的目的是泛化&＃xff0c;即通过训练&＃xff0c;得到一个模型&＃xff0c;而这个模型可以对新样例的标签进行精准的预测。
学习的过程&＃xff0c;也可以看做&＃xff0c;在所有假设组成的空间中&＃xff0c;进行搜索的过程。假设&＃xff0c;就是说该数据集对应的潜在规律&＃xff1b;这个规律可能有很多种&＃xff0c;学习的过程&＃xff0c;就是找到最适合它的那一种。

1.4 归纳偏好
很多情况下&＃xff0c;通过现有的有限的数据集&＃xff0c;可以得到多个假设空间&＃xff1b;但是我们必须得到一个最好的模型。这时候&＃xff0c;就要从这若干个假设空间中&＃xff0c;选择其中的一个&＃xff0c;从这个空间中提取ML的模型。
尽管数据集无法从这若干个假设空间中选择最佳的那一个&＃xff0c;但是我们可以使用另一个法宝&＃xff1a;归纳偏好。机器学习算法在学习的过程中&＃xff0c;对某种类型的假设的偏好&＃xff0c;称之为归纳偏好。可以简单的理解为&＃xff0c;对于上述不同的假设空间&＃xff0c;在选择最优模型时&＃xff0c;其权重不同。
对于归纳偏好&＃xff0c;我们使用奥卡姆剃刀来作为一般的原则&＃xff0c;用于引导算法确立“正确”的偏好。奥卡姆梯度是自然科学中最常见的法则之一&＃xff1a;若有多个假设与观察一致&＃xff0c;则选最简单的那个。

1.5 发展历程
本节讲述机器学习的发展历程&＃xff0c;属于common knowledge的介绍。没有任何难度&＃xff0c;了解即可。
机器学习是人工智能(artificial intelligence)研究发展到一定阶段的必然产物。下面总结ML的发展历程&＃xff1a;
时间 | 流派 | 主要人物 | 成果

| :-: | -:
1950-1970 | 推理期 | A.Newell和H.Simon| 逻辑理论家、通用问题求解
1975-1995 | 知识期 | E.A. Feigenbaum    | 知识工程、专家系统
1980-1990 | 符号主义 | 诸多                     | 决策树、基于逻辑的学习
1950-1985 | 连接主义 | J.J.Hopfield         | BP神经网络
1995-1970 | 统计学习 | V.N.Vapnik          | SVM、核方法、VC维
2000-2015 |连接主义 | 诸多                    | 深度学习、大数据时代

1.6 应用现状
大数据时代的三大关键技术&＃xff1a;机器学习、云计算、众包crowdsourcing
ML的应用领域&＃xff1a;天气预报、环境监测、能源勘探、商业营销策划、互联网搜索、图片搜索、自动驾驶、奥巴马大选、脑科学研究等。

习题
1.1 表1.1中若只包含编号为1和4的两个样例&＃xff0c;试给出相应的版本空间。
1.2 与试用单个合取式来进行假设表示相比&＃xff0c;试用“析合范式”将使得假设空间具有更强的表示能力。例如&＃xff1a;
好瓜<->(&＃xff08;色泽&＃61;&＃xff09;&＃xff08;根蒂&＃61;蜷缩&＃xff09;&＃xff08;敲声&＃61;&＃xff09;)
会把“ ”以及“ ”都分类为“好瓜”。若使得最多包含k个合取式的析合范式来表达表1.1西瓜分类问题的假设空间&＃xff0c;试估算共有多少种可能的假设。
1.3 若数据包含噪声&＃xff0c;则假设空间中有可能不存在与所有训练样本都一致的假设。在此情形下&＃xff0c;试设计一种归纳偏好用于假设选择。
1.4 本章1.4节在论述“没有免费的午餐”定理时&＃xff0c;默认使用了“分类错误率”作为性能度量来对分类器进行评估。若换用其他性能度量l&＃xff0c;则式(1.1)将改为
试证明&＃xff0c;“没有免费的午餐定理”仍成立。
1.5 试述机器学习能在互联网搜索的哪些环节起什么作用。

---------------------

本文来自 JasonYoung_2017 的CSDN 博客 &＃xff0c;全文地址请点击&＃xff1a;https://blog.csdn.net/qq_34100655/article/details/79122523?utm_source&＃61;copy