python实验二数据预处理_数据清洗与预处理Python实现

这个Python版本必须是3.7的

首先讲一下数据清洗与预处理的定义

在百度百科中的定义是 - 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序&＃xff0c;包括检查数据一致性&＃xff0c;处理无效值和缺失值等。与问卷审核不同&＃xff0c;录入后的数据清理一般是由计算机而不是人工完成。

我自己理解的是&＃xff0c;在我们不管是机器学习建模还是进行数据分析或者数据挖掘操作&＃xff0c;我们首先都需要对数据进行预处理。我们拿到手的初始数据往往会存在缺失值、重复值、异常值或者错误值&＃xff0c;影响实验结果&＃xff0c;我们就需要进行数据清洗。或者是想要保持数据的一致性&＃xff0c;也可以数据清洗。有时数据的原始变量不满足分析的要求&＃xff0c;我们需要先对数据进行一定的处理&＃xff0c;也就是数据的预处理。

数据清洗与预处理的目的是提高数据的质量&＃xff0c;提高实验结果的可靠度。

连接数据库

import numpy as np

from pandas import DataFrame

import pandas as pd

import matplotlib.pyplot as plt

导入数据集

假设我们有一个已知的数据集如下&＃xff1a;

{state’:[‘a’,‘b’,‘c’,‘a’,‘b’,‘c’],

‘year’:[2018,2016,2017,2018,2016,2017],

‘average’:[87,85,88,87,85,88]},

from pandas import DataFrame

#导入数据集

data &＃61; {&＃39;state&＃39;:[&＃39;a&＃39;,&＃39;b&＃39;,&＃39;c&＃39;,&＃39;a&＃39;,&＃39;b&＃39;,&＃39;c&＃39;],

&＃39;year&＃39;:[2333,2019,2617,2333,2016,2617],

&＃39;avgage&＃39;:[55,85,89,55,85,89]

}

frame &＃61; DataFrame(data,columns&＃61;[&＃39;year&＃39;,&＃39;state&＃39;,&＃39;avgage&＃39;])

#DataFrame是一种表格型数据结构,具有行索引&＃xff0c;也有列索引。列索引为year、state、avgage

print(&＃39;原始数据:&＃39;)

print(frame)

也可以读入数据集(csv文件)

datasets &＃61; pd.read_csv(&＃39;my_data.csv&＃39;)

发现重复与冗余

frame.duplicated().any

frame.drop_duplicates() # 删除重复值,会删除除第一条后的&＃xff0c;默认对所有变量判断

frame.duplicated().count

处理缺失值

frame.isnull().any(axis&＃61;0)# 判断各变量中是否存在缺失值

frame.isnull().sum(axis&＃61;0)# 各变量中缺失值的数量

frame.fillna()#就是使用指定的方法填充NA / NaN值&＃xff0c;填充为0

frame.count()#是用来计算每一列或每一行的非na细胞&＃xff0c;会返回对于每一列/行&＃xff0c;非na /null项的数量

均值和自定义函数&＃xff0c;比较麻烦单独说一下

#第一列指定众数填充&＃xff0c;第二列使用众数&＃xff0c;第三列使用均值。

#关于均值&＃xff0c;frame.mean()&＃xff0c;但是列中含有NA / NaN&＃xff0c;无法评判什么类型&＃xff0c;取第一个众数&＃xff0c;来填充state列

#众数就是frame.mode函数。

frame.fillna(frame.mean())

frame[&＃39;state&＃39;].fillna(frame.mode()[&＃39;state&＃39;][0])

#运用自定义函数来填充, 假设自定义函数就是取众数的第一个值

fi&＃61;lambda x:x.fillna(x.mode()[0])

f&＃61;frame.apply(fi)

print(&＃39;填充之后的结果&＃xff1a;&＃39;)

print(f)

数据集成

就需要不止一个的数据集

pd.merge(left, right, how&＃61;&＃39;inner&＃39;/&＃39;left&＃39;/&＃39;right&＃39;, on&＃61;None, left_on&＃61;None, right_on&＃61;None, left_index&＃61;False, right_index&＃61;False, sort&＃61;True

, suffixes&＃61;(&＃39;_x&＃39;, &＃39;_y&＃39;), copy&＃61;True, indicator&＃61;False)

pd.concat([df1,df2,df3], ignore_index&＃61;True)#concat函数是在 pandas底下的方法&＃xff0c;可以将数据根据不同的轴作简单的融合

pd.concat([df1,df2,df3], ignore_index&＃61;True&＃xff0c;axis&＃61; 1)#当axis &＃61; 1的时候&＃xff0c;concat就是行对齐&＃xff0c;然后将不同列名称的两张表合并

数据变换(统一格式并标准化)

简单函数变换的常见方法&＃xff1a;平方、开方、对数、差分运算等。

标准化、归一化、离散化。

f &＃61; lambda x: ( x - min(x) )/ ( max(x) - min(x) )

#tranform()的作用是通过找中心和缩放等实现标准化

[&＃39;optional&＃39;].transform(f)

f &＃61; lambda x: ( x - x.mean() )/ x.std()

[&＃39;optional&＃39;].transform(f)

其实还可以通过导库实现&＃xff0c;会更简单一些。在这里也就不多说了。

制作人&＃xff1a;只识闲人不识君

日期&＃xff1a;2020.07.14

本文地址&＃xff1a;https://blog.csdn.net/weixin_46069678/article/details/107330392

希望与广大网友互动&＃xff1f;&＃xff1f;

点此进行留言吧&＃xff01;