Pandas学习之——使用pandas获取数据以及数据概览

先引入必要的库

import pandas as pd
import numpy as np


1.1 读取数据

使用方法&＃xff1a;pandas.read_csv()
参数&＃xff1a;
&＃xff08;1&＃xff09;文件所在的路径
&＃xff08;2&＃xff09;headers&＃xff1a;设置参数headers&＃61;None&＃xff0c;pandas将不会自动将数据集的第一行设置为列表表头&＃xff08;列名&＃xff09;

other_path &＃61; "https://s3-api.us-geo.objectstorage.softlayer.net/cf-courses-data/CognitiveClass/DA0101EN/auto.csv"
df &＃61; pd.read_csv(other_path, header&＃61;None)


• 查阅数据集的前n行&＃xff0c;使用函数df.head(n);
• 查阅数据集的倒数后n行&＃xff0c;使用函数df.tail(n)

df.head(5)


输出&＃xff1a;

df.tail(10)


输出&＃xff1a;

1.2 为数据集添加列名&＃xff08;表头&＃xff09;

观察上面读取出来的部分数据&＃xff0c;pandas自动将列名&＃xff08;表头&＃xff09;设置为从0开始的数字标签。

需要我们手动添加能够帮助我们更好理解数据的列名&＃xff1a;

首先创建出一个列表headers&＃xff0c;里面内容就是每列的名称&＃xff0c;然后使用方法&＃xff1a;df.columns &＃61; headers来将列名替换成我们刚才设置的。

headers &＃61; ["symboling","normalized-losses","make","fuel-type","aspiration", "num-of-doors","body-style","drive-wheels","engine-location","wheel-base", "length","width","height","curb-weight","engine-type","num-of-cylinders", "engine-size","fuel-system","bore","stroke","compression-ratio","horsepower","peak-rpm","city-mpg","highway-mpg","price"]
df.columns &＃61; headers
df.head(10)


输出&＃xff1a;

1.3 删除某些具有空值的“脏数据”

• 观察上面的部分数据&＃xff0c;发现有一些值为“&＃xff1f;” 的行代表空值&＃xff0c;首先需要先将这些“&＃xff1f;”标志替换为NaN,然后使用方法dropna()来移除这些脏数据。

df1&＃61;df.replace(&＃39;?&＃39;,np.NaN)


• 下面使用方法dropna来删除脏数据行。

关于方法dropna&＃xff08;&＃xff09;&＃xff1a;
参数&＃xff1a;
&＃xff08;1&＃xff09;axis&＃xff1a; default 0指删除行,1为删除列
&＃xff08;2&＃xff09;subset&＃xff1a;对特定的列进行缺失值删除处理
&＃xff08;3&＃xff09;how&＃xff1a; {‘any’, ‘all’}, default ‘any’指带缺失值的所有行;&＃39;all’指清除全是缺失值的
&＃xff08;4&＃xff09;thresh&＃xff1a;int,保留含有int个非空值的行
&＃xff08;5&＃xff09;inplace&＃xff1a;True表示直接在原数据上更改

df&＃61;df1.dropna(subset&＃61;["price"], axis&＃61;0)
df.head(20)


上面的调用&＃xff0c;表示&＃xff0c;删除“price”列为空值的行。

输出&＃xff1a;

可以看出&＃xff0c;原来行9的“price”列为空值&＃xff0c;所以行9被删除。

1.4 查看数据的列名列表

df.columns


输出&＃xff1a;

1.5 保存某个数据集

我们可以将处理过的dataframe&＃xff08;df&＃xff09;保存成某种格式&＃xff08;例如&＃xff1a;.csv&＃xff09;的文件&＃xff0c;方便以后进行读取。
使用方法df.to_csv&＃xff08;“文件要保存的路径”&＃xff0c; index &＃61; False&＃xff09;

df.to_csv("automobile.csv", index&＃61;False)


注&＃xff1a;参数index的含义为“是否保留行索引”&＃xff0c; 默认为True
关于pandas的to_csv()的使用方法详见这篇博客&＃xff1a;
https://blog.csdn.net/toshibahuai/article/details/79034829

• 当然我们可以读取其他格式的数据&＃xff0c;对数据操作完成后&＃xff0c;我们也同样可以将数据保存为不同的格式&＃xff0c;下图显示了读取其他格式文件以及将数据集保存为其他格式的方法&＃xff1a;
  

2.1 查看每列数据的类型

dataframe的属性dtypes可以返回表示每列数据名称及类型的列表&＃xff1a;

print(df.dtypes)


输出&＃xff1a;
第一列为列名&＃xff0c;第二列为数据的类型

2.2 获取每列数据的统计特征&＃xff08;eg&＃xff1a;总行数&＃xff0c;列数据的平均值、标准差&＃xff0c;etc&＃xff09;

使用&＃xff1a;dataframe.describe()即可查看每列数据的
&＃xff08;1&＃xff09;总行数统计count
&＃xff08;2&＃xff09;平均值mean
&＃xff08;3&＃xff09;标准差std
&＃xff08;4&＃xff09;最小值min
&＃xff08;5&＃xff09;25%分位值“25%”
&＃xff08;6&＃xff09;50%分位值“50%”
&＃xff08;7&＃xff09;75%分位值“75%”
&＃xff08;8&＃xff09;最大值max

df.describe()


输出&＃xff1a;
注意&＃xff1a;方法describe()只统计&＃xff08;没有任何参数的情况下&＃xff09;数据类型&＃xff08;numeric-typed数据类型&＃xff0c;例如int&＃xff0c;float等&＃xff09;列的统计特征&＃xff0c;并且会自动NaN值。

如果我们想查看所有列的统计特征&＃xff08;即包括非数据类型的列&＃xff0c;例如object类型的列&＃xff09;&＃xff0c;就需要在describe()方法中添加参数&＃xff08;include &＃61; “all”&＃xff09;

df.describe(include &＃61; "all")


输出&＃xff1a;

2.3 获取指定列的统计学特征

使用如下语句&＃xff1a;

dataframe[[‘column1’, ‘column2’, ‘column3’]].describe()

df[[&＃39;length&＃39;, &＃39;compression-ratio&＃39;]].describe()


输出&＃xff1a;

2.4 使用方法info&＃xff08;&＃xff09;来查看dataframe的简介描述

使用如下语句&＃xff1a;
dataframe.info()

此方法打印有关dataframe的信息&＃xff0c;包括索引dtype和列、非空值和内存使用情况。

df.info()


输出&＃xff1a;

2.5 查看数据的行数及列数

通过属性shape&＃xff0c;获取数据集的&＃xff08;行数&＃xff0c;列数&＃xff09;

ratings_df.shape


输出&＃xff1a;
&＃xff08;463&＃xff0c; 19&＃xff09;