数据挖掘概念与技术学习笔记(1)

        很久以前就一直想好好了解下数据挖掘相关的知识&＃xff0c;一直拖到现在。现在正处于大数据时代&＃xff0c;数据挖掘有着广泛的应用前景。数据挖掘概念与技术.pdf

1.什么是数据挖掘&＃xff1f;其作用和意义是什么&＃xff1f;

近年来互联网飞速发展&＃xff0c;快速增长的海量数据收集&＃xff0c;存放在大型数据库中。然而&＃xff0c;虽然数据丰富&＃xff0c;但信息贫乏&＃xff0c;没有强有力的工具&＃xff0c;理解它们已经远远超出了人的能力。数据挖掘就是从大量的数据中提取或"挖掘"知识&＃xff0c;也叫知识挖掘。通过数据挖掘工具进行数据分析&＃xff0c;发现重要的数据模式&＃xff0c;将数据转换为知识。数据挖掘研究的目的开发有效的数据挖掘工具。

2.数据库知识发现的一般过程

(1)数据清理(消除噪音或不一致数据)

(2)数据集成(多种数据源可以组合在一起)

(3)数据选择(从数据库中提取与分析任务相关的数据)

(4)数据变换(数据变换或同一成适合数据挖掘的形式&＃xff1b;如通过汇总或聚类操作)

(5)数据挖掘(基本步骤&＃xff0c;使用智能方法提取数据模式)

(6)模式评估(根据某种兴趣度度量&＃xff0c;识别提供知识的真正有趣的模式)

(7)知识表示(使用可视化和知识表示技术&＃xff0c;向用户提供数据挖掘的知识)

3.数据挖掘系统的主要组成部分

(1)数据仓库&＃xff1a;一种多个异种数据源在单个站点以统一的模式组织存储&＃xff0c;以支持管理决策。

(2)知识库&＃xff1a;邻域知识&＃xff0c;用于指导搜索&＃xff0c;或评估结果模式的兴趣度。

(3)数据挖掘引擎&＃xff1a;数据挖掘系统基本的部分&＃xff0c;由一组功能模块组成&＃xff0c;用于特征&＃xff0c;关联&＃xff0c;分类&＃xff0c;聚类分析&＃xff0c;演变或偏差分析。

(4)模式评估模块&＃xff1a;通常&＃xff0c;该部分使用兴趣度度量&＃xff0c;并与挖掘模块交换&＃xff0c;以便将搜索聚焦在有趣的模式上。

4.模式兴趣度的客观度量

1)支持度

对于形如的关联规则&＃xff0c;一种客观度量是规则的支持度。规则的支持度的表示满足规则的样本百分比。支持度是概率

,其中&＃xff0c;表示同时包含X和Y的事务&＃xff0c;如下式所示。

2)置信度

置信度是条件概率P(Y|X);即包含X的事务也包含Y事务的概率&＃xff0c;如下式所示