前沿技术之数据挖掘

数据挖掘的概念

首先来看一下什么是数据挖掘&＃xff1f;
数据挖掘(Data mining)是指从大量的数据中通过算法搜索隐藏于其中信息的过程。

数据挖掘旨在利用机器学习等智能数据分析技术&＃xff0c;发掘数据对象蕴含的知识与规律&＃xff0c;为任务决策提供有效支撑。数据挖掘是建立新一代人工智能关键共性技术体系的基础支撑。在大数据时代背景下&＃xff0c;数据挖掘技术已广泛应用于金融、医疗、教育、交通、媒体等领域。然而&＃xff0c;随着人工智能、移动互联网、云计算等信息技术的快速发展&＃xff0c;数据挖掘研究在理论、方法、应用等多个层面均面临新的挑战。

数据挖掘是人工智能和数据库领域研究的热点问题&＃xff0c;所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程&＃xff0c;它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等&＃xff0c;高度自动化地分析企业的数据&＃xff0c;作出归纳性的推理&＃xff0c;从中挖掘出潜在的模式&＃xff0c;帮助决策者调整市场策略&＃xff0c;减少风险&＃xff0c;作出正确的决策。知识发现过程由以下三个阶段组成&＃xff1a;①数据准备&＃xff1b;②数据挖掘&＃xff1b;③结果表达和解释。数据挖掘可以与用户或知识库交互。

数据挖掘步骤

(1)定义问题。在开始知识发现之前必须要对数据挖掘目标有一个清晰明确的定义&＃xff0c;即决定到底想挖什么。
(2)建立数据挖掘库。决定去哪挖&＃xff0c;包括以下几个步骤&＃xff1a;数据收集&＃xff0c;数据描述&＃xff0c;选择&＃xff0c;数据质量评估和数据清理&＃xff0c;合并与整合&＃xff0c;构建元数据&＃xff0c;加载数据挖掘库&＃xff0c;维护数据挖掘库。
(3)分析数据。分析的目的是找到对预测输出影响最大的数据字段&＃xff0c;和决定是否需要定义导出字段。如果数据集包含成百上千的字段&＃xff0c;那么浏览分析这些数据将是一件非常耗时和累人的事情&＃xff0c;这时需要选择一个具有好的界面和功能强大的工具软件来协助你完成这些事情。
(4)准备数据。这是建立模型之前的最后一步数据准备工作。可以把此步骤分为四个部分&＃xff1a;选择变量&＃xff0c;选择记录&＃xff0c;创建新变量&＃xff0c;转换变量。
(5)建立模型。建立模型是一个反复的过程。需要仔细考察不同的模型以判断哪个模型对面对的商业问题最有用。先用一部分数据建立模型&＃xff0c;然后再用剩下的数据来测试和验证这个得到的模型。有时还有第三个数据集&＃xff0c;称为验证集&＃xff0c;因为测试集可能受模型的特性的影响&＃xff0c;这时需要一个独立的数据集来验证模型的准确性。训练和测试数据挖掘模型需要把数据至少分成两个部分&＃xff0c;一个用于模型训练&＃xff0c;另一个用于模型测试。
(6)评价模型。模型建立好之后&＃xff0c;必须评价得到的结果、解释模型的价值。从测试集中得到的准确率只对用于建立模型的数据有意义。在实际应用中&＃xff0c;需要进一步了解错误的类型和由此带来的相关费用的多少。经验证明&＃xff0c;有效的模型并不一定是正确的模型。
(7)实施。模型建立并经验证之后&＃xff0c;第一种是提供给分析人员做参考&＃xff1b;另一种是把此模型应用到不同的数据集上。

数据挖掘分析方法

数据挖掘分为有指导的数据挖掘和无指导的数据挖掘。有指导的数据挖掘是利用可用的数据建立一个模型&＃xff0c;这个模型是对一个特定属性的描述。无指导的数据挖掘是在所有的属性中寻找某种关系。具体而言&＃xff0c;分类、估值和预测属于有指导的数据挖掘&＃xff1b;关联规则和聚类属于无指导的数据挖掘。
1&＃xff0e;分类。分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类&＃xff0c;其目的是通过分类模型&＃xff0c;将数据库中的数据项映射到某个给定的类别中。可以应用到涉及到应用分类、趋势预测中&＃xff0c;如淘宝将用户在一段时间内的购买情况划分成不同的类&＃xff0c;根据情况向用户推荐关联类的商品&＃xff0c;从而增加商铺的销售量。
2&＃xff0e;估值。估值与分类类似&＃xff0c;但估值最终的输出结果是连续型的数值&＃xff0c;估值的量并非预先确定。估值可以作为分类的准备工作。
3&＃xff0e;预测。它是通过分类或估值来进行&＃xff0c;通过分类或估值的训练得出一个模型&＃xff0c;如果对于检验样本组而言该模型具有较高的准确率&＃xff0c;可将该模型用于对新样本的未知变量进行预测。
4&＃xff0e;相关性分组或关联规则。其目的是发现哪些事情总是一起发生。
5&＃xff0e;聚类。聚类类似于分类&＃xff0c;但与分类的目的不同&＃xff0c;是针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大&＃xff0c;但不同类别之间数据的相似性很小&＃xff0c;跨类的数据关联性很低。

数据挖掘经典方法

神经网络法
模拟生物神经系统的结构和功能&＃xff0c;是一种通过训练来学习的非线性预测模型&＃xff0c;它将每一个连接看作一个处理单元&＃xff0c;试图模拟人脑神经元的功能&＃xff0c;可完成分类、聚类、特征挖掘等多种数据挖掘任务。
决策树法
决策树是根据对目标变量产生效用的不同而建构分类的规则&＃xff0c;通过一系列的规则对数据进行分类的过程&＃xff0c;其表现形式是类似于树形结构的流程图。
遗传算法
遗传算法模拟了自然选择和遗传中发生的繁殖、交配和基因突变现象&＃xff0c;是一种采用遗传结合、遗传交叉变异及自然选择等操作来生成实现规则的、基于进化理论的机器学习方法。
粗糙集法
粗糙集法也称粗糙集理论&＃xff0c;是一种新的处理含糊、不精确、不完备问题的数学工具&＃xff0c;可以处理数据约简、数据相关性发现、数据意义的评估等问题。
模糊集法
模糊集法是利用模糊集合理论对问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。模糊集合理论是用隶属度来描述模糊事物的属性。系统的复杂性越高&＃xff0c;模糊性就越强
关联规则法
关联规则反映了事物之间的相互依赖性或关联性。

数据挖掘的发展前景

当前数据挖掘应用主要集中在电信、零售、农业、网络日志、银行、电力、生物、天体、化工、医药等方面。看似广泛&＃xff0c;实际应用还远没有普及。而据Gartner的报告也指出&＃xff0c;数据挖掘会成为未来10年内重要的技术之一。而数据挖掘&＃xff0c;也已经开始成为一门独立的专业学科。

具体发展趋势和应用方向主要有&＃xff1a;对知识发现方法的研究进一步发展&＃xff0c;如对Bayes和Boosting方法的研究和提高&＃xff1b;商业工具软件不断产生和完善&＃xff0c;注重建立解决问题的整体系统&＃xff0c;例如Weka等软件。