光滑噪声数据常用的方法_整理一份详细的数据预处理方法

重磅干货&＃xff0c;第一时间送达

作者&＃xff1a;lswbjtuhttps://zhuanlan.zhihu.com/p/51131210

为什么数据处理很重要&＃xff1f;

熟悉数据挖掘和机器学习的小伙伴们都知道&＃xff0c;数据处理相关的工作时间占据了整个项目的70%以上。数据的质量&＃xff0c;直接决定了模型的预测和泛化能力的好坏。它涉及很多因素&＃xff0c;包括&＃xff1a;准确性、完整性、一致性、时效性、可信性和解释性。而在真实数据中&＃xff0c;我们拿到的数据可能包含了大量的缺失值&＃xff0c;可能包含大量的噪音&＃xff0c;也可能因为人工录入错误导致有异常点存在&＃xff0c;非常不利于算法模型的训练。数据清洗的结果是对各种脏数据进行对应方式的处理&＃xff0c;得到标准的、干净的、连续的数据&＃xff0c;提供给数据统计、数据挖掘等使用。

有哪些数据预处理的方法&＃xff1f;

数据预处理的主要步骤分为&＃xff1a;数据清理、数据集成、数据规约和数据变换。本文将从这四个方面详细的介绍具体的方法。如果在一个项目中&＃xff0c;你在这几个方面的数据处理做的都很不错&＃xff0c;对于之后的建模具有极大的帮助&＃xff0c;并且能快速达到一个还不错的结果。

数据清理

数据清理(data cleaning) 的主要思想是通过填补缺失值、光滑噪声数据&＃xff0c;平滑或删除离群点&＃xff0c;并解决数据的不一致性来“清理“数据。如果用户认为数据时脏乱的&＃xff0c;他们不太会相信基于这些数据的挖掘结果&＃xff0c;即输出的结果是不可靠的。

1、缺失值的处理

由于现实世界中&＃xff0c;获取信息和数据的过程中&＃xff0c;会存在各类的原因导致数据丢失和空缺。针对这些缺失值的处理方法&＃xff0c;主要是基于变量的分布特性和变量的重要性(信息量和预测能力)采用不同的方法。主要分为以下几种&＃xff1a;删除变量&＃xff1a;若变量的缺失率较高(大于80%)&＃xff0c;覆盖率较低&＃xff0c;且重要性较低&＃xff0c;可以直接将变量删除。

定值填充&＃xff1a;工程中常见用-9999进行替代

统计量填充&＃xff1a;若缺失率较低(小于95%)且重要性较低&＃xff0c;则根据数据分布的情况进行填充。对于数据符合均匀分布&＃xff0c;用该变量的均值填补缺失&＃xff0c;对于数据存在倾斜分布的情况&＃xff0c;采用中位数进行填补。

插值法填充&＃xff1a;包括随机插值&＃xff0c;多重差补法&＃xff0c;热平台插补&＃xff0c;拉格朗日插值&＃xff0c;牛顿插值等

模型填充&＃xff1a;使用回归、贝叶斯、随机森林、决策树等模型对缺失数据进行预测。

哑变量填充&＃xff1a;若变量是离散型&＃xff0c;且不同值较少&＃xff0c;可转换成哑变量&＃xff0c;例如性别SEX变量&＃xff0c;存在male,fameal,NA三个不同的值&＃xff0c;可将该列转换成 IS_SEX_MALE, IS_SEX_FEMALE, IS_SEX_NA。若某个变量存在十几个不同的值&＃xff0c;可根据每个值的频数&＃xff0c;将频数较小的值归为一类&＃39;other&＃39;&＃xff0c;降低维度。此做法可最大化保留变量的信息。

总结来看&＃xff0c;楼主常用的做法是&＃xff1a;先用pandas.isnull.sum()检测出变量的缺失比例&＃xff0c;考虑删除或者填充&＃xff0c;若需要填充的变量是连续型&＃xff0c;一般采用均值法和随机差值进行填充&＃xff0c;若变量是离散型&＃xff0c;通常采用中位数或哑变量进行填充。

注意&＃xff1a;若对变量进行分箱离散化&＃xff0c;一般会将缺失值单独作为一个箱子(离散变量的一个值)

2、离群点处理

异常值是数据分布的常态&＃xff0c;处于特定分布区域或范围之外的数据通常被定义为异常或噪声。异常分为两种&＃xff1a;“伪异常”&＃xff0c;由于特定的业务运营动作产生&＃xff0c;是正常反应业务的状态&＃xff0c;而不是数据本身的异常&＃xff1b;“真异常”&＃xff0c;不是由于特定的业务运营动作产生&＃xff0c;而是数据本身分布异常&＃xff0c;即离群点。主要有以下检测离群点的方法&＃xff1a;简单统计分析&＃xff1a;根据箱线图、各分位点判断是否存在异常&＃xff0c;例如pandas的describe函数可以快速发现异常值。

3

原则&＃xff1a;若数据存在正态分布&＃xff0c;偏离均值的3

之外. 通常定义

范围内的点为离群点。

基于绝对离差中位数(MAD)&＃xff1a;这是一种稳健对抗离群数据的距离值方法&＃xff0c;采用计算各观测值与平均值的距离总和的方法。放大了离群值的影响。

基于距离&＃xff1a;通过定义对象之间的临近性度量&＃xff0c;根据距离判断异常对象是否远离其他对象&＃xff0c;缺点是计算复杂度较高&＃xff0c;不适用于大数据集和存在不同密度区域的数据集

基于密度&＃xff1a;离群点的局部密度显著低于大部分近邻点&＃xff0c;适用于非均匀的数据集

基于聚类&＃xff1a;利用聚类算法&＃xff0c;丢弃远离其他簇的小簇。

总结来看&＃xff0c;在数据处理阶段将离群点作为影响数据质量的异常点考虑&＃xff0c;而不是作为通常所说的异常检测目标点&＃xff0c;因而楼主一般采用较为简单直观的方法&＃xff0c;结合箱线图和MAD的统计方法判断变量的离群点。

具体的处理手段&＃xff1a;根据异常点的数量和影响&＃xff0c;考虑是否将该条记录删除&＃xff0c;信息损失多

若对数据做了log-scale 对数变换后消除了异常值&＃xff0c;则此方法生效&＃xff0c;且不损失信息

平均值或中位数替代异常点&＃xff0c;简单高效&＃xff0c;信息的损失较少

在训练树模型时&＃xff0c;树模型对离群点的鲁棒性较高&＃xff0c;无信息损失&＃xff0c;不影响模型训练效果

3、噪声处理

噪声是变量的随机误差和方差&＃xff0c;是观测点和真实点之间的误差&＃xff0c;即

。通常的处理办法&＃xff1a;对数据进行分箱操作&＃xff0c;等频或等宽分箱&＃xff0c;然后用每个箱的平均数&＃xff0c;中位数或者边界值(不同数据分布&＃xff0c;处理方法不同)代替箱中所有的数&＃xff0c;起到平滑数据的作用。另外一种做法是&＃xff0c;建立该变量和预测变量的回归模型&＃xff0c;根据回归系数和预测变量&＃xff0c;反解出自变量的近似值。

数据集成

数据分析任务多半涉及数据集成。数据集成将多个数据源中的数据结合成、存放在一个一致的数据存储&＃xff0c;如数据仓库中。这些源可能包括多个数据库、数据方或一般文件。实体识别问题&＃xff1a;例如&＃xff0c;数据分析者或计算机如何才能确信一个数 据库中的 customer_id 和另一个数据库中的 cust_number 指的是同一实体?通常&＃xff0c;数据库和数据仓库 有元数据——关于数据的数据。这种元数据可以帮助避免模式集成中的错误。

冗余问题。一个属性是冗余的&＃xff0c;如果它能由另一个表“导出”;如年薪。属性或 维命名的不一致也可能导致数据集中的冗余。用相关性检测冗余&＃xff1a;数值型变量可计算相关系数矩阵&＃xff0c;标称型变量可计算卡方检验。

数据值的冲突和处理&＃xff1a;不同数据源&＃xff0c;在统一合并时&＃xff0c;保持规范化&＃xff0c;去重。

数据规约

数据归约技术可以用来得到数据集的归约表示&＃xff0c;它小得多&＃xff0c;但仍接近地保持原数据的完整性。这样&＃xff0c;在归约后的数据集上挖掘将更有效&＃xff0c;并产生相同(或几乎相同)的分析结果。一般有如下策略&＃xff1a;

1、维度规约

用于数据分析的数据可能包含数以百计的属性&＃xff0c;其中大部分属性与挖掘任务不相关&＃xff0c;是冗余的。维度归约通过删除不相关的属性&＃xff0c;来减少数据量&＃xff0c;并保证信息的损失最小。

属性子集选择&＃xff1a;目标是找出最小属性集&＃xff0c;使得数据类的概率分布尽可能地接近使用所有属性的原分布。在压缩 的属性集上挖掘还有其它的优点。它减少了出现在发现模式上的属性的数目&＃xff0c;使得模式更易于理解。逐步向前选择&＃xff1a;该过程由空属性集开始&＃xff0c;选择原属性集中最好的属性&＃xff0c;并将它添加到该集合

中。在其后的每一次迭代&＃xff0c;将原属性集剩下的属性中的最好的属性添加到该集合中。

逐步向后删除&＃xff1a;该过程由整个属性集开始。在每一步&＃xff0c;删除掉尚在属性集中的最坏属性。

向前选择和向后删除的结合&＃xff1a;向前选择和向后删除方法可以结合在一起&＃xff0c;每一步选择一个最 好的属性&＃xff0c;并在剩余属性中删除一个最坏的属性。

python scikit-learn 中的递归特征消除算法Recursive feature elimination (RFE)&＃xff0c;就是利用这样的思想进行特征子集筛选的&＃xff0c;一般考虑建立SVM或回归模型。

单变量重要性&＃xff1a;分析单变量和目标变量的相关性&＃xff0c;删除预测能力较低的变量。这种方法不同于属性子集选择&＃xff0c;通常从统计学和信息的角度去分析。pearson相关系数和卡方检验&＃xff0c;分析目标变量和单变量的相关性。

回归系数&＃xff1a;训练线性回归或逻辑回归&＃xff0c;提取每个变量的表决系数&＃xff0c;进行重要性排序。

树模型的Gini指数&＃xff1a;训练决策树模型&＃xff0c;提取每个变量的重要度&＃xff0c;即Gini指数进行排序。

Lasso正则化&＃xff1a;训练回归模型时&＃xff0c;加入L1正则化参数&＃xff0c;将特征向量稀疏化。

IV指标&＃xff1a;风控模型中&＃xff0c;通常求解每个变量的IV值&＃xff0c;来定义变量的重要度&＃xff0c;一般将阀值设定在0.02以上。

以上提到的方法&＃xff0c;没有讲解具体的理论知识和实现方法&＃xff0c;需要同学们自己去熟悉掌握。楼主通常的做法是根据业务需求来定&＃xff0c;如果基于业务的用户或商品特征&＃xff0c;需要较多的解释性&＃xff0c;考虑采用统计上的一些方法&＃xff0c;如变量的分布曲线&＃xff0c;直方图等&＃xff0c;再计算相关性指标&＃xff0c;最后去考虑一些模型方法。如果建模需要&＃xff0c;则通常采用模型方法去筛选特征&＃xff0c;如果用一些更为复杂的GBDT&＃xff0c;DNN等模型&＃xff0c;建议不做特征选择&＃xff0c;而做特征交叉。

2、维度变换&＃xff1a;

维度变换是将现有数据降低到更小的维度&＃xff0c;尽量保证数据信息的完整性。楼主将介绍常用的几种有损失的维度变换方法&＃xff0c;将大大地提高实践中建模的效率主成分分析(PCA)和因子分析(FA)&＃xff1a;PCA通过空间映射的方式&＃xff0c;将当前维度映射到更低的维度&＃xff0c;使得每个变量在新空间的方差最大。FA则是找到当前特征向量的公因子(维度更小)&＃xff0c;用公因子的线性组合来描述当前的特征向量。

奇异值分解(SVD)&＃xff1a;SVD的降维可解释性较低&＃xff0c;且计算量比PCA大&＃xff0c;一般用在稀疏矩阵上降维&＃xff0c;例如图片压缩&＃xff0c;推荐系统。

聚类&＃xff1a;将某一类具有相似性的特征聚到单个变量&＃xff0c;从而大大降低维度。

线性组合&＃xff1a;将多个变量做线性回归&＃xff0c;根据每个变量的表决系数&＃xff0c;赋予变量权重&＃xff0c;可将该类变量根据权重组合成一个变量。

流行学习&＃xff1a;流行学习中一些复杂的非线性方法&＃xff0c;可参考skearn&＃xff1a;LLE Example

数据变换

数据变换包括对数据进行规范化&＃xff0c;离散化&＃xff0c;稀疏化处理&＃xff0c;达到适用于挖掘的目的。规范化处理&＃xff1a;数据中不同特征的量纲可能不一致&＃xff0c;数值间的差别可能很大&＃xff0c;不进行处理可能会影响到数据分析的结果&＃xff0c;因此&＃xff0c;需要对数据按照一定比例进行缩放&＃xff0c;使之落在一个特定的区域&＃xff0c;便于进行综合分析。特别是基于距离的挖掘方法&＃xff0c;聚类&＃xff0c;KNN&＃xff0c;SVM一定要做规范化处理。最大 - 最小规范化&＃xff1a;将数据映射到[0,1]区间&＃xff0c;

Z-Score标准化&＃xff1a;处理后的数据均值为0&＃xff0c;方差为1&＃xff0c;

Log变换&＃xff1a;在时间序列数据中&＃xff0c;对于数据量级相差较大的变量&＃xff0c;通常做Log函数的变换&＃xff0c;

.

2、离散化处理&＃xff1a;数据离散化是指将连续的数据进行分段&＃xff0c;使其变为一段段离散化的区间。分段的原则有基于等距离、等频率或优化的方法。数据离散化的原因主要有以下几点&＃xff1a;模型需要&＃xff1a;比如决策树、朴素贝叶斯等算法&＃xff0c;都是基于离散型的数据展开的。如果要使用该类算法&＃xff0c;必须将离散型的数据进行。有效的离散化能减小算法的时间和空间开销&＃xff0c;提高系统对样本的分类聚类能力和抗噪声能力。

离散化的特征相对于连续型特征更易理解。

可以有效的克服数据中隐藏的缺陷&＃xff0c;使模型结果更加稳定。

等频法&＃xff1a;使得每个箱中的样本数量相等&＃xff0c;例如总样本n&＃61;100&＃xff0c;分成k&＃61;5个箱&＃xff0c;则分箱原则是保证落入每个箱的样本量&＃61;20。

等宽法&＃xff1a;使得属性的箱宽度相等&＃xff0c;例如年龄变量(0-100之间)&＃xff0c;可分成 [0,20]&＃xff0c;[20,40]&＃xff0c;[40,60]&＃xff0c;[60,80]&＃xff0c;[80,100]五个等宽的箱。

聚类法&＃xff1a;根据聚类出来的簇&＃xff0c;每个簇中的数据为一个箱&＃xff0c;簇的数量模型给定。

3、稀疏化处理&＃xff1a;针对离散型且标称变量&＃xff0c;无法进行有序的LabelEncoder时&＃xff0c;通常考虑将变量做0&＃xff0c;1哑变量的稀疏化处理&＃xff0c;例如动物类型变量中含有猫&＃xff0c;狗&＃xff0c;猪&＃xff0c;羊四个不同值&＃xff0c;将该变量转换成is_猪&＃xff0c;is_猫&＃xff0c;is_狗&＃xff0c;is_羊四个哑变量。若是变量的不同值较多&＃xff0c;则根据频数&＃xff0c;将出现次数较少的值统一归为一类&＃39;rare&＃39;。稀疏化处理既有利于模型快速收敛&＃xff0c;又能提升模型的抗噪能力。

总结

以上介绍了数据预处理中会用到的大部分方法和技术&＃xff0c;完全适用于初学者学习掌握&＃xff0c;并且对于实践建模会有大幅度提升。以上方法的代码实现&＃xff0c;均可在python的pandas和sklearn中完成。大家可根据需要去查阅学习&＃xff0c;网上资料也很多&＃xff0c;楼主只提供方法和经验上的借鉴&＃xff0c;希望每个认真学习巩固的同学都能得到提升。

/打卡话题/

你最常用的模型评价指标是什么&＃xff1f;