数据探索性分析（EDA）常用方法大合集

EDA&＃xff08;Exploratory Data Analysis&＃xff09;&＃xff0c;全名为数据探索性分析&＃xff0c;是通过了解数据集&＃xff0c;了解变量间的相互关系以及变量与预测值之间的关系&＃xff0c;从而帮助我们后期更好地进行特征工程和建立模型&＃xff0c;是数据挖掘、机器学习中十分重要的一步。

下面我们会将EDA中常用的方法进行总结&＃xff0c;帮助大家提高EDA效率。由于本节内容较多&＃xff0c;我们将分几篇系列文章为大家分享。

首先来看看一个常规的EDA都需要做哪些事情。

一是对我们要分析的数据进行一个整体的了解即数据的整体概览&＃xff0c;这一环节我们可以了解数据的特征、类型、量纲等基本信息&＃xff0c;并对缺失值、异常值等进行处理&＃xff1b;

二是查看数据的分布情况&＃xff0c;尽量将数据的分布调整成利于机器学习的输入形式&＃xff0c;对于偏斜分布、重尾分布进行规整&＃xff0c;一般调整为正太分布&＃xff1b;

三是对类别型数据进行处理&＃xff0c;通常采用不同的编码方式对其进行编码&＃xff0c;以便转化成数值型数据&＃xff1b;

四是重点对数值型数据进一步进行探索分析&＃xff0c;查看数据之间的相关性、独立性等&＃xff0c;以便选取更为有效的特征。

本文重点介绍数据概览及处理的常用方法

首先导入常用的库

#导入常用库import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as sns# 使用 jupyter notebook 自身显示图像%matplotlib inline

• 显示数据前5行

train.head()

• 显示数据末尾5行

train.tail()

• 显示数据维度

df.shape # 查看行数和列数

• 显示数据基本信息

train.info()

• 显示数据统计信息

train.describe()

其中25%、50%、75%为分位数&＃xff0c;分别表示数据按照从小到大进行排序后&＃xff0c;前25%、50%、75%数据中最大值的那个点&＃xff0c;以season列为例&＃xff0c;前25%数据中最大值为2&＃xff1b;前50%数据中最大值为3&＃xff0c;前75%数据中最大值为4&＃xff0c;这样可以方便我们快速了解数据的分布情况。

diabetes_data.describe().T

• 查看非数值型数据的统计情况

Sample.describe(include&＃61;[&＃39;O&＃39;])

• 查看列名

df.columnsIndex([&＃39;Product_ID&＃39;, &＃39;Gender&＃39;, &＃39;Age&＃39;, &＃39;Occupation&＃39;, &＃39;City_Category&＃39;,       &＃39;Stay_In_Current_City_Years&＃39;, &＃39;Marital_Status&＃39;, &＃39;cat1&＃39;, &＃39;cat2&＃39;, &＃39;cat3&＃39;,       &＃39;Purchase&＃39;, &＃39;B&＃39;, &＃39;C&＃39;],      dtype&＃61;&＃39;object&＃39;)

• 删除某一列无用特征

df.drop([&＃39;User_ID&＃39;],axis&＃61;1,inplace&＃61;True)

• 查看某一列取值的唯一值&＃xff0c;Age、City_Category为列名

df.Age.unique()array([&＃39;0-17&＃39;, &＃39;55&＃43;&＃39;, &＃39;26-35&＃39;, &＃39;46-50&＃39;, &＃39;51-55&＃39;, &＃39;36-45&＃39;, &＃39;18-25&＃39;],      dtype&＃61;object)
df.City_Category.unique()array([&＃39;A&＃39;, &＃39;C&＃39;, &＃39;B&＃39;], dtype&＃61;object)

• 对某列取值进行映射

#例如将Gender列原取值F映射为0&＃xff0c;M映射为1df[&＃39;Gender&＃39;]&＃61;df[&＃39;Gender&＃39;].map({&＃39;F&＃39;:0, &＃39;M&＃39;:1})#将Age取值映射到1-7。df[&＃39;Age&＃39;]&＃61;df[&＃39;Age&＃39;].map({&＃39;0-17&＃39;:1, &＃39;18-25&＃39;:2, &＃39;26-35&＃39;:3, &＃39;36-45&＃39;:4, &＃39;46-50&＃39;:5, &＃39;51-55&＃39;:6, &＃39;55&＃43;&＃39;:7 })

• 获取每一列中数据为空的数量

df.isnull().sum()

• 统计某一列不同的取值的数量&＃xff0c;Product_Category为列名&＃xff0c;返回值第一列为取值情况&＃xff0c;第二列为该值的数量

df.Product_Category.value_counts()  

• 空值处理的方法

#直接删除空值行test_set.dropna(inplace&＃61;True)#使用众数填充空值df[&＃39;cat2&＃39;] &＃61; df[&＃39;cat2&＃39;].fillna(df[&＃39;cat2&＃39;].mode()[0], inplace &＃61; True)#使用均值填充空值df[&＃39;Purchase&＃39;] &＃61; df[&＃39;Purchase&＃39;].fillna(df[&＃39;Purchase&＃39;].mean(), inplace &＃61; True)#使用中位数填充空值diabetes_data_copy[&＃39;SkinThickness&＃39;].fillna(diabetes_data_copy[&＃39;SkinThickness&＃39;].median(), inplace &＃61; True)

• 改变某一列的数据类型&＃xff08;只能向下转换&＃xff09;

df[&＃39;Stay_In_Current_City_Years&＃39;]&＃61;df[&＃39;Stay_In_Current_City_Years&＃39;].astype(int)

• 使用某一列或几列为唯一标识&＃xff0c;删除重复数据&＃xff0c;保留唯一值。

#inplace&＃61;True表示直接在原数据上进行操作&＃xff0c;否则返回一个新DataFramedata.drop_duplicates([&＃39;Age&＃39;],&＃39;first&＃39;,inplace&＃61;True)

AI自研社是一个专注人工智能、机器学习技术的公众平台&＃xff0c;目前已发表多篇连载文章&＃xff0c;对机器学习领域知识由浅入深进行详细的讲解&＃xff0c;其中包含了大量实例及代码参考&＃xff0c;对学习交流有很大帮助&＃xff0c;欢迎大家关注。