python数据清洗数据预处理

1. 重复值处理

• 数据清洗一般先从重复值和缺失值开始处理
• 重复值一般采取删除法来处理
• 但有些重复值不能删除&＃xff0c;例如订单明细数据或交易明细数据等

df.head(5)
#对价格和里程数数据进行处理
# 自定义一个函数
def f(x):if &＃39;$&＃39; in str(x):x &＃61; str(x).strip(&＃39;$&＃39;)x &＃61; str(x).replace(&＃39;,&＃39;,&＃39;&＃39;)else:x &＃61; str(x).replace(&＃39;,&＃39;,&＃39;&＃39;)return float(x)
df[&＃39;Price&＃39;] &＃61; df[&＃39;Price&＃39;] .apply(f)
df[&＃39;Mileage&＃39;] &＃61; df[&＃39;Mileage&＃39;].apply(f)
print (&＃39;数据集是否存在重复观测: \n&＃39;, any(df.duplicated()))
df[df.duplicated()] #查看那些数据重复
np.sum(df.duplicated()) #计算重复数量
df.drop_duplicates() #删除所有变量都重复的行, 注意没有加inplace &＃61; True
df.drop_duplicates(subset&＃61; [&＃39;Condition&＃39;,&＃39;Condition_Desc&＃39;,&＃39;Price&＃39;,&＃39;Location&＃39;],inplace&＃61;True) #按照两个变量重复来来去重
df.info()


2. 缺失值处理

• 缺失值首先需要根据实际情况定义
• 可以采取直接删除法
• 有时候需要使用替换法或者插值法
• 常用的替换法有均值替换、前向、后向替换和常数替换

df.apply(lambda x: sum(x.isnull())/len(x),axis&＃61; 0) #缺失比例
#删除法
df.dropna() #直接删除法
df.dropna(how&＃61;&＃39;any&＃39;,axis &＃61; 1 ) #只要有缺失&＃xff0c;就删除这一列
df.dropna(how&＃61;&＃39;any&＃39;,axis &＃61; 0) #只要有缺失&＃xff0c;就删除这一行&＃xff0c;等价于df.dropna()
#axis &＃61; 0 或者 1代表的函数在数据集作用的方向&＃xff0c;0代表沿着行的方向&＃xff0c;1代表沿着列的方向
df.dropna(axis &＃61; 0,how&＃61;&＃39;any&＃39;,subset&＃61;[&＃39;Condition&＃39;,&＃39;Price&＃39;,&＃39;Mileage&＃39;]) # 1代表列&＃xff0c;0代表行&＃xff0c;只要有缺失&＃xff0c;就删除这一行,基于三个变量


在数据分析中&＃xff0c;实际上大部分时候都是按照行来进行删除的&＃xff0c;很少会基于列来进行删除 列代表的是变量&＃xff0c;是否删除删除列很多时候主要取决于缺失比例
使用替换法进行缺失值的填补
替换法

df.head(10)
df.Mileage.fillna(df.Mileage.mean()) # 年龄用均值填补
df.Mileage.fillna(df.Mileage.median()) #中位数填补
df[df[&＃39;Exterior_Color&＃39;].isnull()]
df.Exterior_Color.fillna(df.Exterior_Color.mode()[0]) #众数填补
df.fillna(20) # 所有缺失用20填补
# 婚姻状况使用众数,年龄使用均值,农户家庭人数使用中位数
df.fillna(value &＃61; {&＃39;Exterior_Color&＃39;:df.Exterior_Color.mode()[0],&＃39;Mileage&＃39;:df.Mileage.mean()})
df[&＃39;Exterior_Color&＃39;].fillna(method&＃61;&＃39;ffill&＃39;) #前向填补
df[&＃39;Exterior_Color&＃39;].fillna(method&＃61;&＃39;bfill&＃39;) #后向填补


3. 异常值处理

• 指那些偏离正常范围的值&＃xff0c;不是错误值
• 异常值出现频率较低&＃xff0c;但又会对实际项目分析造成偏差
• 异常值一般用过箱线图法(分位差法)或者分布图(标准差法)来判断
• 异常值往往采取盖帽法或者数据离散化

异常值检测可以使用均值的2倍标准差范围&＃xff0c;也可以使用上下4分位数差方法

# 判断年龄有什么异常值
# 剔除户主姓名,户主身份证号和年龄有缺失的样本
df.dropna(axis &＃61; 0,how&＃61;&＃39;any&＃39;,subset&＃61;[&＃39;户主姓名&＃39;,&＃39;户主身份证号&＃39;,&＃39;age&＃39;],inplace &＃61; True) #1代表列&＃xff0c;0代表行&＃xff0c;只要有缺失&＃xff0c;就删除这一行,基于三个变量
# 异常值检测之标准差法
xbar &＃61; df.Price.mean()
xstd &＃61; df.Price.std()
print(&＃39;标准差法异常值上限检测&＃xff1a;\n&＃39;,any(df.Price> xbar &＃43; 2.5 * xstd))
print(&＃39;标准差法异常值下限检测&＃xff1a;\n&＃39;,any(df.Price# 异常值检测之箱线图法
Q1 &＃61; df.Price.quantile(q &＃61; 0.25)
Q3 &＃61; df.Price.quantile(q &＃61; 0.75)
IQR &＃61; Q3 - Q1
print(&＃39;箱线图法异常值上限检测&＃xff1a;\n&＃39;,any(df.Price > Q3 &＃43; 1.5 * IQR))
print(&＃39;箱线图法异常值下限检测&＃xff1a;\n&＃39;,any(df.Price df.Price.describe()# 对年龄进行描述性统计
import matplotlib.pyplot as plt
%matplotlib inline
df.Price.plot(kind &＃61;&＃39;box&＃39;)
# 导入绘图模块
import matplotlib.pyplot as plt
# 设置绘图风格
plt.style.use(&＃39;seaborn&＃39;)
# 绘制直方图
df.Price.plot(kind &＃61; &＃39;hist&＃39;, bins &＃61; 30, density &＃61; True)
# 绘制核密度图
df.Price.plot(kind &＃61; &＃39;kde&＃39;)
# 图形展现
plt.show()
# 用99分位数和1分位数替换
#计算P1和P99
P1 &＃61;df.Price.quantile(0.01); P99 &＃61; df.Price.quantile(0.99)
#先创建一个新变量&＃xff0c;进行赋值&＃xff0c;然后将满足条件的数据进行替换
df[&＃39;Price_new&＃39;] &＃61; df[&＃39;Price&＃39;]
df.loc[df[&＃39;Price&＃39;] > P99,&＃39;Price_new&＃39;] &＃61; P99
df.loc[df[&＃39;Price&＃39;] df[[&＃39;Price&＃39;,&＃39;Price_new&＃39;]].describe()


4. 数据离散化

• 数据离散化就是分箱
• 一般常用分箱方法是等频分箱或者等宽分箱
• 一般使用pd.cut或者pd.qcut函数

pandas.cut(x, bins, right&＃61;True, labels&＃61;None, retbins&＃61;False, precision&＃61;3, include_lowest&＃61;False)

• x&＃xff1a;类array对象&＃xff0c;且必须为一维&＃xff0c;待切割的原形式
• bins&＃xff1a;整数、序列尺度、或间隔索引。如果bins是一个整数&＃xff0c;它定义了x宽度范围内的等宽面元数量&＃xff0c;但是在这种情况下&＃xff0c;x的范围在每个边上被延长1%&＃xff0c;以保证包括x的最小值或最大值。如果bin是序列&＃xff0c;它定义了允许非均匀bin宽度的bin边缘。在这种情况下没有x的范围的扩展。
• right,布尔值。是否是左开右闭区间&＃xff0c;right&＃61;True,左开右闭,right&＃61;False,左闭右开
• labels,用作结果箱的标签。必须与结果箱相同长度。如果FALSE&＃xff0c;只返回整数指标面元。
• retbins,布尔值。是否返回面元
• precision&＃xff0c;整数。返回面元的小数点几位
• include_lowest&＃xff0c;布尔值。第一个区间的左端点是否包含

df.head(5)
df[&＃39;Price_bin&＃39;] &＃61; pd.cut(df[&＃39;Price_new&＃39;],5,labels&＃61;range(5))
df[&＃39;Price_bin&＃39;].hist()
#自定义分段标准和标签
df[&＃39;Price_new&＃39;].describe()
w &＃61; [100,1000,5000,10000,20000,50000]
df[&＃39;Price_bin&＃39;] &＃61; pd.cut(df[&＃39;Price_new&＃39;], bins &＃61;w,labels&＃61;[&＃39;低&＃39;,&＃39;便宜&＃39;,&＃39;划算&＃39;,&＃39;中等&＃39;,&＃39;高&＃39;],right&＃61;False)
df[&＃39;Price_bin&＃39;].value_counts()


pandas.qcut(x, q, labels&＃61;None, retbins&＃61;False, precision&＃61;3, duplicates&＃61;’raise’)

• x
• q,整数或分位数组成的数组。整数比如 4 代表 按照4分位数 进行切割
• labels, 用作结果箱的标签。必须与结果箱相同长度。如果FALSE&＃xff0c;只返回整数指标面元。
• 原理都是基于分位数来进行离散化

k &＃61; 5
w &＃61; [1.0*i/k for i in range(k&＃43;1)]
df[&＃39;Price_bin&＃39;] &＃61; pd.qcut(df[&＃39;Price_new&＃39;],w,labels&＃61;range(k))
df[&＃39;Price_bin&＃39;].hist()
#或者先计算分位数的值
k &＃61; 5
w1 &＃61; df[&＃39;Price_new&＃39;].quantile([1.0*i/k for i in range(k&＃43;1)])#先计算分位数,在进行分段
w1[0] &＃61; w1[0]* 0.95 # 最小值缩小一点
w[-1] &＃61; w1[1]* 1.05 # 将最大值增大一点, 目的是为了确保数据在这个范围内
w1
df[&＃39;Price_bin&＃39;] &＃61; pd.cut(df[&＃39;Price_new&＃39;],w1,labels&＃61;range(k))
df[&＃39;Price_bin&＃39;].hist()