机器学习实战|数据探索(缺失值处理)

点击“阅读原文”直接打开【北京站 | GPU CUDA 进阶课程】报名链接

接着上一篇&＃xff1a;《机器学习实战-数据探索》介绍&＃xff0c;机器学习更多内容可以关注github项目&＃xff1a;machine learning&＃xff08;https://github.com/jacksu/machine-learning&＃xff09;

《机器学习实战-数据探索》介绍了1、变量识别&＃xff1b;2、单变量分析&＃xff1b;3、双变量分析&＃xff0c;现在接着介绍缺失值处理。

为什么需要处理缺失值呢&＃xff1f;

训练数据集中缺少的数据可以减少模型的拟合&＃xff0c;或者可能导致模型偏差&＃xff0c;因为没有正确地分析变量的行为和关系&＃xff0c;可能导致错误的预测或分类。

Data_Exploration_2_11.png

注意上图中缺失值&＃xff1a;在左侧的情况下&＃xff0c;没有处理缺失值&＃xff0c; 男性打板球的机会高于女性。 另一方面&＃xff0c;如果看看第二个表&＃xff0c;其中显示了处理缺失值后的数据&＃xff08;基于性别&＃xff09;&＃xff0c;我们可以看到女性与男性相比有较高的打板球的机会。

为什么会有缺失值呢&＃xff1f;

前面说明了在数据集中处理缺失值的重要性&＃xff0c; 现在来确定发生这些缺失值的原因&＃xff0c;主要有以下两个阶段&＃xff1a;

1、数据提取&＃xff08;Data Extraction&＃xff09;

提取过程可能有问题&＃xff0c;在这种情况下&＃xff0c;应该使用数据监护检查数据的准确性&＃xff0c; 一些散列程序也可以用来确保数据提取的正确性&＃xff0c;比较容易纠正&＃xff08;数据提取主要在NLP或者图像邻域&＃xff0c;我现在理解不到位&＃xff0c;后面补充&＃xff09;。

2、数据采集&＃xff08;Data collection&＃xff09;

数据采集时发生的错误&＃xff0c;很难纠正&＃xff0c;主要分为以下四种&＃xff1a;

1、Missing completely at random

即所有观测值的缺失变量的概率相同。 例如&＃xff1a;数据收集过程的受访者决定在抛出一个硬币后&＃xff0c;宣布他们的收入。 如果发生&＃xff0c;受访者宣布他的收入&＃xff0c;反之亦然&＃xff0c;这样&＃xff0c;每个观察值&＃xff0c;具有相同概率的缺失值。

2、Missing at random

即随机丢失变量概率&＃xff0c;因其他输入变量的不同值或类别而变化。 例如&＃xff1a;我们收集年龄&＃xff0c;女性相比男性&＃xff0c;具有较高的缺失值。

3、缺失值依赖于不可观察的预测变量

即缺失值不是随机的并且与未查看的输入变量相关。 例如&＃xff1a;在一项医学研究中&＃xff0c;如果特定诊断导致不适&＃xff0c;那么研究中有更多的辍学机会。 这个缺失值不是随机的&＃xff0c;除非我们将“不适”作为所有患者的输入变量。

4、缺失取决于缺失值本身

即缺失值的概率与缺失值本身直接相关。 例如&＃xff1a;拥有较高或较低收入的人士&＃xff0c;可能让其提供收入证明&＃xff0c;有些不愿意。

缺失值有哪些处理方法呢&＃xff1f;

1、删除

Data_Exploration_Missing_value

1、整条记录删除&＃xff08;list wise deletion&＃xff09;
删除任何变量丢失的观察结果&＃xff0c;这种方法的主要优点之一是简单&＃xff0c;但是这种方法降低了模型的准确性&＃xff0c;因为它减少了样本大小。

2、删除对应的缺失值&＃xff08;In pair wise deletion&＃xff09;
这种方法的优点是&＃xff0c;它保留了许多可用于分析的情况&＃xff0c;缺点之一是对不同的变量使用不同的样本大小。

3、当缺失值为Missing completely at random&＃xff0c;使用删除方法&＃xff0c;否则可能会偏离模型输出。

2、Mean/Mode/Median估计

目标是使用可以在数据集的有效值中识别的已知关系来辅助估计缺失值。 

Mean/Mode/Median是最常用的方法之一&＃xff0c;包括通过该变量的所有已知值的mean或Median&＃xff08;定量属性&＃xff09;或Mode&＃xff08;定性属性&＃xff09;来替换给定属性的缺失数据&＃xff0c;有以下两种方式&＃xff1a;

1、广义插补&＃xff08;Generalized Imputation&＃xff09;
在这种情况下&＃xff0c;我们计算该变量的所有非缺失值的mean或Median&＃xff0c;然后用Mean或Median替换缺失值。 如上表所示&＃xff0c;变量“人力”缺失值&＃xff0c;取所有非缺失值的平均值&＃xff08;28.33&＃xff09;替换缺失值。

2、相似插补&＃xff08;Similar case Imputation&＃xff09;
如上表&＃xff0c;分别计算性别“男性”&＃xff08;29.75&＃xff09;和“女性”&＃xff08;25&＃xff09;的平均值&＃xff0c;然后根据性别替换缺失值&＃xff0c;对于“男”的&＃xff0c;以29.75代替缺失值&＃xff0c;“女”的以“25”代替。

3、如果missing value占总体的比例非常小&＃xff0c;那么直接填入Mean、Mode或者Median

3、预测模型&＃xff08;Prediction Model&＃xff09;

预测模型是处理缺失值的复杂方法之一&＃xff0c; 通过创建一个预测模型来估计替代缺失值。 在这种情况下&＃xff0c;我们将数据集分为两组&＃xff1a;一组没有变量的缺失值&＃xff0c;另一组有缺少值&＃xff0c; 第一个数据集成为模型的训练数据集&＃xff0c;而具有缺失值的第二个数据集是测试数据集&＃xff0c;变量与缺失值被视为目标变量。 接下来&＃xff0c;我们创建一个模型&＃xff0c;根据训练数据集的其他属性预测目标变量&＃xff0c;并填充测试数据集的缺失值。我们可以使用回归&＃xff0c;方差分析&＃xff0c;逻辑回归和各种建模技术来执行此操作。 这种方法有两个缺点&＃xff1a;

模型估计值通常比真实值更好

如果与数据集中的属性和缺少值的属性没有关系&＃xff0c;则该模型对于估计缺失值将不精确。

如果missing value所占比例不算小也不算大时&＃xff0c;采用该方法。

4、KNN

此方法使用与值丢失的属性最相似的属性来估计属性的缺失值&＃xff0c;通过距离函数确定两个属性的相似度。 具有如下优点和缺点&＃xff1a;

优点

KNN可以预测定性和定量属性
不需要为缺少数据的每个属性创建预测模型
具有多个缺失值的属性可以轻松处理
数据的相关结构被考虑在内

缺点

KNN算法在分析大数据方面非常耗时, 搜索所有数据集&＃xff0c;寻找最相似的实例。

k值的选择是非常关键的。 k较高脱显不了显著性属性&＃xff0c;而较低的k会丢失重要属性。

注意&＃xff1a; 如果missing value所占比例大&＃xff0c;那么直接将miss value当做一种特殊的情况&＃xff0c;另取一个值填入。

处理缺失值后&＃xff0c;下一篇介绍异常值处理。

参考

https://www.analyticsvidhya.com/blog/2016/01/guide-data-exploration/

原文链接&＃xff1a;http://www.jianshu.com/p/945ea9b8303c

往期精彩回顾

LSTM模型在问答系统中的应用

基于TensorFlow的神经网络解决用户流失概览问题

最全常见算法工程师面试题目整理&＃xff08;一&＃xff09;

最全常见算法工程师面试题目整理&＃xff08;二&＃xff09;

TensorFlow从1到2 | 第三章 深度学习革命的开端&＃xff1a;卷积神经网络

装饰器 | Python高级编程

今天不如来复习下Python基础

点击“阅读原文”直接打开【北京站 | GPU CUDA 进阶课程】报名链接