在使用python里的pandas库进行数据分析工作时&＃xff0c;很多时候我们都会遇到这样一个问题&＃xff1a;数据缺失。这也是大部分数据分析工作所会遇到的之一。而正确处理缺失值&＃xff0c;也是我们在数据分析中数据预处理环节的关键的一环。
在之前的文章中&＃xff0c;我们也介绍过关于缺失值填充的一些小技巧&＃xff1a;
侦探L&＃xff1a;如何处理Pandas里的缺失值(入门篇2)zhuanlan.zhihu.com
今天我们继续讲讲填补缺失值的其它方法。
今天的主角&＃xff1a;常用的机器学习库——sklearn库
设计的知识点&＃xff1a;
- sklearn中&＃xff0c;关于缺失值填充的impute.SimpleImputer类
- sklearn中&＃xff0c;随机森林回归&＃xff08;RandomForestRegressor&＃xff09;填补缺失值
一、impute.SimpleImputer基本介绍
1、类体及主要参数&＃xff1a;
sklearn.impute.SimpleImputer (missing_values&＃61;nan, strategy&＃61;’mean’, fill_value&＃61;None, verbose&＃61;0,copy&＃61;True)
它包括四个重要参数&＃xff1a;
2、使用方法&＃xff1a;
实例化&＃xff08;和类一样&＃xff09;
二、举例说明
首先我们还是先创建实验用的数据表&＃xff1a;
import pandas as pd
import numpy as np
df &＃61; pd.DataFrame([[np.nan, 2, np.nan, 0],[3, 4, np.nan, 1],[np.nan, np.nan, np.nan, 5],[np.nan, 3, np.nan, 4]],columns&＃61;list(&＃39;ABCD&＃39;))
df
之后&＃xff0c;导入我们的impute.SimpleImputer:
from sklearn.impute import SimpleImputer
PS&＃xff1a;使用impute.SimpleImputer类进行缺失值填充前&＃xff0c;我们先需要将其实例化。
&＃xff08;1&＃xff09;我们先尝试对整个DataFrame进行处理&＃xff0c;这里我们用的是均值&＃xff1a;
df_mean &＃61; SimpleImputer(missing_values&＃61;np.nan, strategy&＃61;&＃39;mean&＃39;)
df &＃61; df_mean.fit_transform(df)
输出一下&＃xff1a;
注意看此时我们原来的数据表的类型&＃xff01;已经不再是DataFrame了&＃xff0c;而是ndarray了。
当然&＃xff0c;我们可以把它再转回DataFrame型&＃xff1a;
不过我们也可以看到&＃xff0c;我们是用“均值”填充的&＃xff0c;而原数据表的第‘C’列都是nan值&＃xff0c;不存在均值&＃xff0c;因此被默认删除了。
&＃xff08;2&＃xff09;对整个数据表使用指定的数字填充&＃xff0c;这里我们选择数字9&＃xff1a;
df_0 &＃61; SimpleImputer(strategy&＃61;"constant",fill_value&＃61;9)
df_cons &＃61; df_0.fit_transform(df)
pd.DataFrame(df_cons)
这时&＃xff0c;数据表中只要是缺失值&＃xff0c;都被数字9给替换了。
&＃xff08;3&＃xff09;与前面整个数据表采用同一种填补方法不同&＃xff0c;下面&＃xff0c;我们尝试针对不同列&＃xff0c;采用不同的方法进行缺失值填充&＃xff1a;
首先&＃xff0c;我们建立一个新的数据表&＃xff1a;
df &＃61; pd.DataFrame([[np.nan, 2, np.nan, &＃39;a&＃39;],[3, 4, np.nan, &＃39;a&＃39;],[np.nan, np.nan, np.nan, np.nan],[np.nan, 4, np.nan, &＃39;b&＃39;]],columns&＃61;list(&＃39;ABCD&＃39;))
df
可以看到&＃xff0c;新的数据表中出现了非数值型数据。
我们的操作目标是&＃xff1a;
- 对A列采用均值填充&＃xff1b;
- 对B列采用中位数填充&＃xff1b;
- 对C列采用常数0填充&＃xff1b;
- 对D列采用众数填充。
首先&＃xff0c;第一步&＃xff0c;对我们要用的4种方法进行实例化&＃xff1a;
#均值&＃xff1a;
df_mean &＃61; SimpleImputer(missing_values&＃61;np.nan, strategy&＃61;&＃39;mean&＃39;,copy&＃61;False)#中位数&＃xff1a;
df_median &＃61; SimpleImputer(missing_values&＃61;np.nan, strategy&＃61;&＃39;median&＃39;,copy&＃61;False)#常数0&＃xff1a;
df_0 &＃61; SimpleImputer(strategy&＃61;"constant",fill_value&＃61;0,copy&＃61;False)#众数&＃xff1a;
df_most_frequent &＃61; SimpleImputer(missing_values&＃61;np.nan, strategy&＃61;&＃39;most_frequent&＃39;,copy&＃61;False)
接着&＃xff0c;对不同的列使用不同的方法&＃xff1a;
#A列
df_A &＃61; df.loc[:,&＃39;A&＃39;].values.reshape(-1,1)
df.loc[:,&＃39;A&＃39;]&＃61;df_mean.fit_transform(df_A)#B列
df_B &＃61; df.loc[:,&＃39;B&＃39;].values.reshape(-1,1)
df.loc[:,&＃39;B&＃39;]&＃61;df_median.fit_transform(df_B)#C列
df_C &＃61; df.loc[:,&＃39;C&＃39;].values.reshape(-1,1)
df.loc[:,&＃39;C&＃39;]&＃61;df_0.fit_transform(df_C)#D列
df_D &＃61; df.loc[:,&＃39;D&＃39;].values.reshape(-1,1)
df.loc[:,&＃39;D&＃39;]&＃61;df_most_frequent.fit_transform(df_D)
修改成功~
查看一下我们的修改结果&＃xff1a;
不错~
&＃xff08;4&＃xff09;最后&＃xff0c;给大家介绍在机器学习中&＃xff0c;另一种缺失值填充的有效方法——随机森林回归&＃xff08;RandomForestRegressor&＃xff09;填补缺失值。
首先&＃xff0c;新创建一个数据表&＃xff1a;
df &＃61; pd.DataFrame({&＃39;Country&＃39;:[12,34,23,45,34,23,12,2,3], &＃39;Income&＃39;:[10000, 10000, 5000, 5002, 40000, 50000, 8000, 5000,3000],&＃39;Age&＃39;:[50, 43, 34, 40, 25, 25, 45, 32,12],&＃39;填充列&＃39;:[2,4,7,4,5,np.nan,np.nan,np.nan,np.nan]})
df
可以看到&＃xff0c;在‘填充列’这一列出现了较多的缺失值&＃xff0c;其他列没有出现缺失值。
首先&＃xff0c;导入机器学习中的随机森林回归&＃xff08;RandomForestRegressor&＃xff09;方法&＃xff1a;
from sklearn.ensemble import RandomForestRegressor
接着&＃xff0c;将我们的数据集分成两部分&＃xff1a;
第一部分&＃xff0c;不含缺失值的其他所有列&＃xff1a;
df_full&＃61;df.drop(labels&＃61;&＃39;填充列&＃39;,axis&＃61;1)
df_full
第二部分&＃xff0c;含缺失值的那一列&＃xff1a;
df_nan&＃61;df.loc[:,&＃39;填充列&＃39;]
df_nan
然后&＃xff0c;区别测试集与训练集&＃xff1a;
#区别我们的训练集和测试集
Ytrain &＃61; df_nan[df_nan.notnull()]
Ytest &＃61; df_nan[df_nan.isnull()]
Xtrain &＃61; df_full.iloc[Ytrain.index]
Xtest &＃61; df_full.iloc[Ytest.index]
接着&＃xff0c;实例化&＃xff0c;然后用随机森林回归来填补缺失值&＃xff1a;
#用随机森林回归来填补缺失值
rfc &＃61; RandomForestRegressor(n_estimators&＃61;100)
rfc &＃61; rfc.fit(Xtrain, Ytrain)
Ypredict &＃61; rfc.predict(Xtest)
完成~
看看我们的预测结果&＃xff08;即代替原来缺失的结果&＃xff09;&＃xff1a;
将结果填补到我们原来的数据表中&＃xff1a;
df_nan[df_nan.isnull()] &＃61; Ypredict
此时&＃xff0c;我们的填补过程已经全部结束&＃xff0c;让我们再次看看我们数据集填补后的样子&＃xff1a;
成功&＃xff01;撒花~
&＃xff08;5&＃xff09;随机森林回归&＃xff08;RandomForestRegressor&＃xff09;填补缺失值的原理
最后&＃xff0c;我们讲一下使用随机森林回归填补缺失值的原理。任何回归都是从特征矩阵中学习&＃xff0c;然后求解连续型标签y的过程&＃xff0c;之所以能够实现这个过程&＃xff0c;是因为回归算法认为&＃xff0c;特征矩阵和标签之前存在着某种联系。实际上&＃xff0c;标签和特征是可以相互转换的。例如&＃xff1a;
在一个用“工作时间、绩效、请假时长”预测“工资”的问题中&＃xff0c;我们既可以用“工作时间"、"绩效"、"请假时长”的数据来预测“工资”&＃xff0c;也可以反过来&＃xff0c;用“工作时间”,“绩效”和“工资”来预测“请假时长”。而回归填补缺失值&＃xff0c;正是利用了这种思想。对于一个有n个特征的数据来说&＃xff0c;其中特征T有缺失值&＃xff0c;我们就把特征T当作标签&＃xff0c;其他的n-1个特征和原本的标签组成新的特征矩阵。那对于T来说&＃xff0c;它没有缺失的部分&＃xff0c;就是我们的Y_test&＃xff0c;这部分数据既有标签也有特征&＃xff0c;而它缺失的部分&＃xff0c;只有特征没有标签&＃xff0c;就是我们需要预测的部分。
- 特征T不缺失的值对应的其他n-1个特征 &＃43; 本来的标签&＃xff1a;X_train
- 特征T不缺失的值&＃xff1a;Y_train
- 特征T缺失的值对应的其他n-1个特征 &＃43; 本来的标签&＃xff1a;X_test
- 特征T缺失的值&＃xff1a;未知&＃xff0c;我们需要预测的Y_test
这种做法&＃xff0c;对于某一个特征大量缺失&＃xff0c;其他特征却很完整的情况&＃xff0c;非常适用。
注~
在本文随机森林回归那个例子中&＃xff0c;有缺失值的那列&＃xff0c;就相当于原理里说的标签&＃xff0c;而其他不含缺失值的列&＃xff0c;相当于特征矩阵~
以上便是<如何填补Pandas中的缺失值(机器学习入门篇)>的内容&＃xff0c;感谢大家的细心阅读&＃xff0c;同时欢迎感兴趣的小伙伴一起讨论、学习&＃xff0c;想要了解更多内容的可以看我的其他文章&＃xff0c;同时可以持续关注我的动态~
京公网安备 11010802041100号