python标准差_Python数据清洗学习笔记（八）：数据的预处理

有时候我们需要对一些特定的数值进行处理&＃xff0c;比如重复值&＃xff0c;异常值或缺失值等等。今天我们从以下四个方面入手&＃xff1a;

1.重复值处理

2.异常值处理

3.缺失值处理

4.数据离散化

我们先可判断是否存在重复值&＃xff0c;然后在进行处理&＃xff1a;删除或者保留

1.df.duplicated方法

2.df.drop_duplicates方法

对于缺失值&＃xff0c;我们可以对之删除&＃xff0c;或者用一些特殊值替代。

1.df.isnull方法

2.df.dropna方法

3.df.fillna方法

异常值&＃xff1a;一般指那些偏离正常范围的值

判断的话&＃xff0c;一般采用两种方法:

1.分位差法

2.标准差法

正常范围没有严格的定义&＃xff0c;可以自行设置&＃xff1a;如

【均值-2*标准差&＃xff0c;均值&＃43;2*标准差】

数据离散化就是分箱

1.等频分箱

2.等宽分箱

Python数据清洗学习笔记(七)&＃xff1a;数据统计

Python数据清洗学习笔记(六)&＃xff1a;数据转换

Python数据清洗学习笔记(五)&＃xff1a;数据表的处理

Python数据清洗学习笔记(四)&＃xff1a;文件读写

Python数据清洗学习笔记(三)&＃xff1a;Pandas常用数据结构

Python数据清洗学习笔记(二)&＃xff1a;numpy的常用数据清洗函数

Python数据清洗学习笔记(一)&＃xff1a;numpy常用数据结构