pandas替换某列大于_pandas数据分析总结大全（入门加进阶）

前言

python有个很好用的数据分析库pandas&＃xff0c;前段时间做了个数据挖掘的比赛&＃xff0c;里面数据分析的部分&＃xff0c;是用pandas来实现的&＃xff0c;今天借助自己实践的经验&＃xff0c;来总结一下pandas常用的数据分析方法。

1&＃xff0c;创建数据表

pandas创建的数据是DataFrame格式的数据&＃xff0c;有一些创建方法&＃xff0c;其中有细微的差别&＃xff0c;我们来实践一个简洁常用的方法&＃xff0c;此处创建的数据作为后续数据分析的data。

创建三个数据表&＃xff0c;分别为年级信息表&＃xff1a;grade&＃xff0c;一年级成绩表&＃xff1a;g_one_score&＃xff0c;二年级成绩表&＃xff1a;g_two_score。

这里数据有点简陋&＃xff0c;能说明问题即可。在表g_two_score表里有一个空值NaN&＃xff0c;代表这个同学这门课缺考。

2&＃xff0c;保存数据

我们生成的数据可保存为csv&＃xff0c;或excel文件&＃xff0c;方便以后调用。

此时&＃xff0c;你的路径里多出以下三个文件。

3&＃xff0c;读取数据

好了&＃xff0c;兜了一圈&＃xff0c;把数据读出来了&＃xff0c;以上看似多余的操作&＃xff0c;主要也是为了讲解pandas的用法&＃xff0c;因为有时候&＃xff0c;你只有csv文件&＃xff0c;因此你需要读取操作&＃xff0c;有时候&＃xff0c;你需要存储操作。

4&＃xff0c;查看和提取数据

4.1, 一般读取数据后&＃xff0c;首先查看数据的大小&＃xff0c;即shape。

4.2, 查看每列的空缺值个数

有时候是查看数据每列的空缺值个数&＃xff0c;用来判断每个特征值是否有效&＃xff0c;空缺值太大&＃xff0c;在做数据挖掘时&＃xff0c;此特征会丢掉&＃xff0c;空缺值少&＃xff0c;会想办法补上。

这里把补空缺值的方法讲了吧&＃xff0c;思路有几种&＃xff1a;①补同列上一行的值&＃xff0c;②补同列下一行的值&＃xff0c;③补指定的值。具体怎么填补&＃xff0c;要在理解数据的基础上进行操作。使用的函数为&＃xff1a;fillna&＃xff08;&＃xff09;函数。

还有一个操作是填补此列的空缺值&＃xff0c;将指定值参数赋值为此列的均值即可&＃xff0c;那需要先求出此列均值。具体怎么做我们后面讲描述性统计方法时再说。

4.3, 查看数据表的值.values

4.4, 查看数据前五行&＃xff0c;或后五行数据

4.5, 查看数据的列名称&＃xff0c;这个在做数据处理时&＃xff0c;会常用

Index([&＃39;班级代号&＃39;, &＃39;姓名&＃39;, &＃39;数学&＃39;, &＃39;语文&＃39;, &＃39;英语&＃39;], dtype&＃61;&＃39;object&＃39;)

4.6, 使用.loc[ ],.iloc[ ]进行数据提取查看。

如果想只查看某些列的前三行数据可以这么做

但是有时候&＃xff0c;我们的数据很大&＃xff0c;我们不能很方便得到想要查看列的索引&＃xff0c;但是我们知道列名称&＃xff0c;可以使用loc来操作。

也可以直接提取指定列的信息

0 92
1 87
2 96
3 93
4 89
Name: 语文, dtype: int64

或者&＃xff0c;我们想查看特定条件的行数据&＃xff0c;比如提取小白和小橙的成绩信息&＃xff0c;可以这么做

0 False
1 True
2 True
3 False
4 False
Name: 姓名, dtype: bool

再或者&＃xff0c;我们想查看其他特定条件的行数据&＃xff0c;比如提取二班信息

• 数学成绩大于88的同学信息。
• 数学成绩大于88并且英语成绩大于85的同学信息。
• 数学成绩大于88或者语文成绩大于90的同学的信息。
• 数学成绩等于100的同学信息。
• 除了小白的信息提取出来。&＃xff08;有两种方式&＃xff09;

代码如下

5,删除数据

使用drop()函数

例子如下&＃xff1a;

还有一种间接实现“删除”的方式&＃xff0c;加双引号&＃xff0c;只是不是真正的删除操作&＃xff0c;就是前面讲过的取反操作&＃xff0c;当你的数据很大&＃xff0c;很多行&＃xff0c;而你只想删除一小部分满足某条件的行&＃xff0c;此时用drop实现不了&＃xff0c;那我们可以提取&＃xff0c;不满足这些条件的行&＃xff0c;间接得到“删除”后的数据。

如&＃xff1a;我们想提取删除语文成绩小于90&＃xff0c;或者英语成绩小于80的数据

当然&＃xff0c;如果你知道具体的行标&＃xff0c;也可用drop()来做&＃xff0c;要学会灵活应用。

6,描述性统计方法

有时候&＃xff0c;我们需要知道数据的一些&＃xff0c;统计信息&＃xff1a;均值&＃xff0c;最大值&＃xff0c;最小值&＃xff0c;总和。当然&＃xff0c;这些只能在数值型数据上进行操作。

函数describe&＃xff08;&＃xff09;能统计各列诸多统计值

这里班级代号这一列并没有用&＃xff0c;只不过&＃xff0c;当时输入的也是数值。

count&＃xff1a;非空元素个数。mean&＃xff1a;均值。std&＃xff1a;标准差。min&＃xff1a;最小值。25%&＃xff1a;四分之一分位数。max&＃xff1a;最大值。

也可以单个求某列&＃xff0c;或某些列的特定统计信息

班级代号 21.0
数学 87.0
语文 89.0
英语 69.0
Name: 0.25, dtype: float64
66.0
语文 87.0
英语 0.0
dtype: float64

与describe&＃xff08;&＃xff09;得到的结果一致&＃xff0c;没有错误

还记得之前补空缺值时的操作吗&＃xff0c;我们说可以补均值&＃xff0c;因为有时候&＃xff0c;补均值会比较合理&＃xff0c;实现方法如下&＃xff1a;

0 69.0
1 82.5
2 92.0
3 90.0
4 79.0
Name: 英语, dtype: float64

如果加上参数inplace&＃61;True,我们的原数据就填补完成了&＃xff0c;不含空值&＃xff0c;不过这里需指定单个的列。

7&＃xff0c;合并

7.1&＃xff0c;merge函数

用法

DataFrame1.merge(DataFrame2, how&＃61;‘inner’, on&＃61;None, left_on&＃61;None, right_on&＃61;None, left_index&＃61;False, right_index&＃61;False, sort&＃61;False, suffixes&＃61;(’_x’, ‘_y’))

或

pd.merge(DataFrame1,DataFrame2, how&＃61;‘inner’, on&＃61;None, left_on&＃61;None, right_on&＃61;None, left_index&＃61;False, right_index&＃61;False, sort&＃61;False, suffixes&＃61;(’_x’, ‘_y’))

参数

• how 可选“inner”&＃xff0c;“outer”&＃xff0c;“left”&＃xff0c;“right”&＃xff0c;与sql里的join一样&＃xff0c;内连接&＃xff0c;外连接&＃xff0c;左外连接&＃xff0c;右外连接。
• on 可选两个表连接时依据的字段名&＃xff0c;若连接的依靠的字段在两个表中名字一致&＃xff0c;则使用此参数&＃xff0c;&＃61;“字段名”&＃xff0c;若依靠的连接字段在连个表中名字不同&＃xff0c;则需使用left_on和right_on分别来指定两个表中的字段名。
• left_on&＃xff0c;左表连接的字段名。
• right_on 右表连接的字段名。
• right_index 若使用右表的行索引名来连接&＃xff0c;则将此参数赋值为True。
• left_index 若使用坐标的行索引来连接&＃xff0c;则将此参数赋值为True。在需要将两个表直接横向合并一起时&＃xff0c;例如&＃xff0c;我们的grade表被统计成了两个表&＃xff0c;一个表上只有信息“年级”“班级”“班级代号”另一个表上的信息为“班主任”“人数”&＃xff0c;两个表需要是对应的&＃xff0c;这样可将两个index参数赋值为True&＃xff0c;将两个表合并为一个更加完整的表。
• sort合并后的表是否排序
• suffixes此参数是当两个表中的字段名相同时&＃xff0c;自动将字段名后面加_x,_y等。

举例来看&＃xff0c;比如我们想知道二班成绩表里的每位同学所属班级&＃xff0c;班主任等grade表里的信息&＃xff0c;我们的想法自然是将两个表连接起来。连接的依据字段为班级代号&＃xff0c;即把班级代号相同的行连接起来。

如果懂sql的同学&＃xff0c;对于这部分的理解会比较容易&＃xff0c;刚接触的同学理解会有一点困难&＃xff0c;我再多写一句&＃xff0c;这里的连接&＃xff0c;你可以这么想&＃xff0c;连接的过程可以想象为&＃xff0c;笛卡尔积&＃xff0c;即左表的每一行会与右表的每一行配对&＃xff0c;然后依据on将所选字段对应相等的联结行留下来&＃xff0c;其他的不符合的删掉&＃xff0c;就是最终的结果。

这里说成联结比较专业&＃xff0c;我一般写成连接了。

如果两个表里联结的字段名不同呢&＃xff0c;比如在g_two_score里的“班级代号”是“班级代码”呢&＃xff0c;怎么做&＃xff0c;该left_on和right_on上场了。

现在试试左外联结on&＃61;“left”&＃xff0c;左外连接是将左表里多余的没有关联的行留下

可以看到班级代号为11,12的没有关联的行&＃xff0c;但是溜了下来&＃xff0c;右外联结“right”&＃xff0c;是将右表中没有关联的行留下来&＃xff0c;全外连接“outer”是将两个表中没有关联的行全留下来。

7.2&＃xff0c;concat

用法

pd.concat([DataFrame1,DataFrame2],axis&＃61;0,join&＃61;"outer",join_axes&＃61;None,ignore_index&＃61;False,keys&＃61;None,sort&＃61;True)

参数

• axis 取值0或1,0代表竖向合并&＃xff0c;1代表横行合并&＃xff0c;默认竖向
• join 取并集“outer”or 取交集“inner”
• join_axes 默认为None&＃xff0c;取并集时使用&＃xff0c;合并后在非合并方向上选取某个表的有的字段显示。join_axes&＃61;[DataFrame.columns]
• ignore_index 默认False&＃xff0c;合并方向是否忽略原行/列名称&＃xff0c;而采用系统默认&＃xff0c;即从0开始。
• keys 默认为None&＃xff0c;若有值&＃xff0c;则会在外围添加一层标签&＃xff0c;指定&＃xff0c;某些行/列来自于哪个表。
• sort&＃xff0c;是否排序&＃xff0c;默认为True,非合并方向的标签是否排序

举个例子来说明什么情况下使用concat

例1&＃xff1a;xx水果店有三个员工&＃xff0c;一周轮流上班&＃xff0c;每天的员工需记录每天每种水果的销量&＃xff0c;前三天小明值班&＃xff0c;但她只记录了“苹果”“香蕉”“橘子”“火龙果”的销量&＃xff1b;星期四&＃xff0c;五&＃xff0c;小红值班&＃xff0c;她只记录了“苹果”“香蕉”“芒果”“猕猴桃”的销量&＃xff1b;星期六&＃xff0c;日&＃xff0c;小海值班&＃xff0c;他只记录了“橘子”“火龙果”“芒果”“猕猴桃”的销量。这三个员工不称职啊&＃xff0c;哈哈&＃xff0c;我们为了能说明问题&＃xff0c;瞎编的哈。

关于axis&＃61;1的方向的合并&＃xff0c;我就不举例子了&＃xff0c;如果碰到&＃xff0c;这样的问题&＃xff1a;水果店有两个员工&＃xff0c;一个人记录其中几个水果的销量&＃xff0c;我们需要合并记录这一周两个员工记录的水果销量。这时候需要横向合并&＃xff0c;具体问题具体来分析怎么合并。

7.3&＃xff0c;append

这是一个最简单的合并函数&＃xff0c;只能竖向合并

用法

DataFrame1.append&＃xff08;DataFrame2&＃xff0c;ignore_index&＃61;False&＃xff09;

等价于pd.concat([DataFrame1,DataFrame2])

还记不记得我们还有一个表&＃xff1a;g_one_score,一班同学的成绩信息表&＃xff0c;我们现在想将一般和二班同学的成绩合并在一起&＃xff0c;可以这么做。

8&＃xff0c;groupby函数与agg函数

8.1&＃xff0c;grouby&＃xff08;&＃xff09;

groupby&＃xff08;&＃xff09;函数的作用与sql里的group by一样&＃xff0c;按某列或几列的值实行分组。

按某一列对表中的某一列进行分组计算

班级代号
21 91
22 89
Name: 数学, dtype: int64

按某一列对表中的多列进行分组计算

注&＃xff1a;groupby里面的依据分组字段必须写成 g_two_score["班级代号"] 原因为需要分组的字段里不含有“班级代号”&＃xff0c;如果写成这样

下面这样是可以的&＃xff0c;这也是易出现的小错误的地方

按多列对表中的多列进行分组计算

有时候是对整个表按照某一列或多列进行分组

如果整个表进行分组后&＃xff0c;只想看某一列的数据

年级
一 2
二 2
Name: 人数, dtype: int64

注&＃xff1a;上面我们看到数据分组后会跟着一个统计计算&＃xff0c;我们来列一下有哪些统计计算。

还有些统计性分析的函数&＃xff0c;会在做数据分析的时候用到&＃xff0c;我们在这里提一下

8.2&＃xff0c;agg()

groupby函数经常与agg函数一起使用&＃xff0c;我们看一下&＃xff0c;agg是怎么用的。

对所有列应用一个相同的统计计算

这个结果与

结果相同。

对所有列应用相同的多种统计计算

当我们想对分组后的数据进行多种统计计算时&＃xff0c;比如&＃xff1a;mean&＃xff0c;std一起时&＃xff0c;agg的有点就显现出来了。

对所有列应用不同的多种统计计算

也可以对不同分组后的字段进行不同的统计计算&＃xff0c;我们使用字典来传入。

应用自定义函数

除此之外&＃xff0c;还可以传入自己设置的函数。比如设置一个计算极值的函数。

感谢参考到的几篇文章&＃xff01;