dataframescala修改值_如何填补Pandas中的缺失值(机器学习入门篇)

在使用python里的pandas库进行数据分析工作时&＃xff0c;很多时候我们都会遇到这样一个问题&＃xff1a;数据缺失。这也是大部分数据分析工作所会遇到的之一。而正确处理缺失值&＃xff0c;也是我们在数据分析中数据预处理环节的关键的一环。

在之前的文章中&＃xff0c;我们也介绍过关于缺失值填充的一些小技巧&＃xff1a;

今天我们继续讲讲填补缺失值的其它方法。

今天的主角&＃xff1a;常用的机器学习库——sklearn库

设计的知识点&＃xff1a;

1. sklearn中&＃xff0c;关于缺失值填充的impute.SimpleImputer类
2. sklearn中&＃xff0c;随机森林回归&＃xff08;RandomForestRegressor&＃xff09;填补缺失值

一、impute.SimpleImputer基本介绍

1、类体及主要参数&＃xff1a;

它包括四个重要参数&＃xff1a;

2、使用方法&＃xff1a;

实例化&＃xff08;和类一样&＃xff09;

二、举例说明

首先我们还是先创建实验用的数据表&＃xff1a;

之后&＃xff0c;导入我们的impute.SimpleImputer:

PS&＃xff1a;使用impute.SimpleImputer类进行缺失值填充前&＃xff0c;我们先需要将其实例化。

&＃xff08;1&＃xff09;我们先尝试对整个DataFrame进行处理&＃xff0c;这里我们用的是均值&＃xff1a;

输出一下&＃xff1a;

注意看此时我们原来的数据表的类型&＃xff01;已经不再是DataFrame了&＃xff0c;而是ndarray了。

当然&＃xff0c;我们可以把它再转回DataFrame型&＃xff1a;

不过我们也可以看到&＃xff0c;我们是用“均值”填充的&＃xff0c;而原数据表的第‘C’列都是nan值&＃xff0c;不存在均值&＃xff0c;因此被默认删除了。

&＃xff08;2&＃xff09;对整个数据表使用指定的数字填充&＃xff0c;这里我们选择数字9&＃xff1a;

这时&＃xff0c;数据表中只要是缺失值&＃xff0c;都被数字9给替换了。

&＃xff08;3&＃xff09;与前面整个数据表采用同一种填补方法不同&＃xff0c;下面&＃xff0c;我们尝试针对不同列&＃xff0c;采用不同的方法进行缺失值填充&＃xff1a;

首先&＃xff0c;我们建立一个新的数据表&＃xff1a;

可以看到&＃xff0c;新的数据表中出现了非数值型数据。

我们的操作目标是&＃xff1a;

• 对A列采用均值填充&＃xff1b;
• 对B列采用中位数填充&＃xff1b;
• 对C列采用常数0填充&＃xff1b;
• 对D列采用众数填充。

首先&＃xff0c;第一步&＃xff0c;对我们要用的4种方法进行实例化&＃xff1a;

接着&＃xff0c;对不同的列使用不同的方法&＃xff1a;

修改成功~

查看一下我们的修改结果&＃xff1a;

不错~

&＃xff08;4&＃xff09;最后&＃xff0c;给大家介绍在机器学习中&＃xff0c;另一种缺失值填充的有效方法——随机森林回归&＃xff08;RandomForestRegressor&＃xff09;填补缺失值。

首先&＃xff0c;新创建一个数据表&＃xff1a;

可以看到&＃xff0c;在‘填充列’这一列出现了较多的缺失值&＃xff0c;其他列没有出现缺失值。

首先&＃xff0c;导入机器学习中的随机森林回归&＃xff08;RandomForestRegressor&＃xff09;方法&＃xff1a;

接着&＃xff0c;将我们的数据集分成两部分&＃xff1a;

第一部分&＃xff0c;不含缺失值的其他所有列&＃xff1a;

第二部分&＃xff0c;含缺失值的那一列&＃xff1a;

然后&＃xff0c;区别测试集与训练集&＃xff1a;

接着&＃xff0c;实例化&＃xff0c;然后用随机森林回归来填补缺失值&＃xff1a;

完成~

看看我们的预测结果&＃xff08;即代替原来缺失的结果&＃xff09;&＃xff1a;

将结果填补到我们原来的数据表中&＃xff1a;

此时&＃xff0c;我们的填补过程已经全部结束&＃xff0c;让我们再次看看我们数据集填补后的样子&＃xff1a;

成功&＃xff01;撒花~

&＃xff08;5&＃xff09;随机森林回归&＃xff08;RandomForestRegressor&＃xff09;填补缺失值的原理

最后&＃xff0c;我们讲一下使用随机森林回归填补缺失值的原理。任何回归都是从特征矩阵中学习&＃xff0c;然后求解连续型标签y的过程&＃xff0c;之所以能够实现这个过程&＃xff0c;是因为回归算法认为&＃xff0c;特征矩阵和标签之前存在着某种联系。实际上&＃xff0c;标签和特征是可以相互转换的。例如&＃xff1a;

在一个用“工作时间、绩效、请假时长”预测“工资”的问题中&＃xff0c;我们既可以用“工作时间"、"绩效"、"请假时长”的数据来预测“工资”&＃xff0c;也可以反过来&＃xff0c;用“工作时间”,“绩效”和“工资”来预测“请假时长”。而回归填补缺失值&＃xff0c;正是利用了这种思想。对于一个有n个特征的数据来说&＃xff0c;其中特征T有缺失值&＃xff0c;我们就把特征T当作标签&＃xff0c;其他的n-1个特征和原本的标签组成新的特征矩阵。那对于T来说&＃xff0c;它没有缺失的部分&＃xff0c;就是我们的Y_test&＃xff0c;这部分数据既有标签也有特征&＃xff0c;而它缺失的部分&＃xff0c;只有特征没有标签&＃xff0c;就是我们需要预测的部分。

• 特征T不缺失的值对应的其他n-1个特征 &＃43; 本来的标签&＃xff1a;X_train
• 特征T不缺失的值&＃xff1a;Y_train
• 特征T缺失的值对应的其他n-1个特征 &＃43; 本来的标签&＃xff1a;X_test
• 特征T缺失的值&＃xff1a;未知&＃xff0c;我们需要预测的Y_test

这种做法&＃xff0c;对于某一个特征大量缺失&＃xff0c;其他特征却很完整的情况&＃xff0c;非常适用。

注~

在本文随机森林回归那个例子中&＃xff0c;有缺失值的那列&＃xff0c;就相当于原理里说的标签&＃xff0c;而其他不含缺失值的列&＃xff0c;相当于特征矩阵~

以上便是<如何填补Pandas中的缺失值(机器学习入门篇)>的内容&＃xff0c;感谢大家的细心阅读&＃xff0c;同时欢迎感兴趣的小伙伴一起讨论、学习&＃xff0c;想要了解更多内容的可以看我的其他文章&＃xff0c;同时可以持续关注我的动态~