pandas数据分析（二）

部分数据如下

这个数据百度可以搜到&＃xff0c;就是下面这个

读取Excel文件中的数据

import pandas as pd
pd.set_option(&＃39;display.unicode.ambiguous_as_wide&＃39;,True)
pd.set_option(&＃39;display.unicode.east_asian_width&＃39;,True)
#usecols指定要读取的列的索引或名字
df&＃61;pd.read_excel(r&＃39;C:\Users\dell\Desktop\超市营业额2.xlsx&＃39;,usecols&＃61;[&＃39;工号&＃39;,&＃39;姓名&＃39;,&＃39;时段&＃39;,&＃39;交易额&＃39;])
print(df[:10],end&＃61;&＃39;\n\n&＃39;)#输出前10行数据


#读取第一个worksheet中所有列
#跳过第1、3、5行&＃xff0c;指定下标为1的列中数据为DataFrame的行索引标签
df&＃61;pd.read_excel(r&＃39;C:\Users\dell\Desktop\超市营业额2.xlsx&＃39;,skiprows&＃61;[1,3,5],index_col&＃61;1)
print(df[:10])


筛选符合特定条件的数据

#读取全部数据&＃xff0c;使用默认索引
df&＃61;pd.read_excel(r&＃39;C:\Users\dell\Desktop\超市营业额2.xlsx&＃39;)


#下标在[5,10]区间的行&＃xff0c;切片限定的是左闭右开区间
df[5:11]


#iloc使用整数做索引
df.iloc[5]#索引为5的行


df.iloc[[3,5,10]]#下标为[3,5,10]的行


df.iloc[[3,5,10],[0,1,4]]#行下标[3,5,10],列下标[0,1,4]


df[[&＃39;姓名&＃39;,&＃39;时段&＃39;,&＃39;交易额&＃39;]][:5]#指定的列前5行的数据


df[:10][[&＃39;姓名&＃39;,&＃39;日期&＃39;,&＃39;柜台&＃39;]]#只查看前10行指定的列


df.loc[[3,5,10],[&＃39;姓名&＃39;,&＃39;交易额&＃39;]]#下标为[3,5,10]行的指定列


df.at[3,&＃39;姓名&＃39;]#行下标为3&＃xff0c;姓名列的值&＃39;赵六&＃39;


#如果有报错&＃xff0c;看看柜台列的字符是不是跑到交易额列去了
#因为交易额有几个是空值&＃xff0c;直接复制来的数据可能位置不对
print(df[df[&＃39;交易额&＃39;]>1700])#交易额高于1700元的数据


df[&＃39;交易额&＃39;].sum()#交易总额327257.0


#注意这个数据里是中文冒号
df[df[&＃39;时段&＃39;]&＃61;&＃61;&＃39;14&＃xff1a;00-21&＃xff1a;00&＃39;][&＃39;交易额&＃39;].sum()#下午班的交易总额151228.0


#张三下午班的交易情况
df[(df.姓名&＃61;&＃61;&＃39;张三&＃39;)&(df.时段&＃61;&＃61;&＃39;14&＃xff1a;00-21&＃xff1a;00&＃39;)]


#日用品柜台销售总额
df[df[&＃39;柜台&＃39;]&＃61;&＃61;&＃39;日用品&＃39;][&＃39;交易额&＃39;].sum()88162.0


#张三和李四2人销售总额
df[df[&＃39;姓名&＃39;].isin([&＃39;张三&＃39;,&＃39;李四&＃39;])][&＃39;交易额&＃39;].sum()116860.0


#交易额在指定范围内的记录
df[df[&＃39;交易额&＃39;].between(800,850)]


查看数据特征和统计信息

#查看交易额统计信息
df[&＃39;交易额&＃39;].describe()


#交易额四分位数
df[&＃39;交易额&＃39;].quantile([0,0.25,0.5,0.75,1.0])


#交易额中值
df[&＃39;交易额&＃39;].median()1259.0


#交易额最小的3条记录
df.nsmallest(3,&＃39;交易额&＃39;)


#交易额最大的3条记录
df.nlargest(3,&＃39;交易额&＃39;)


#最后一个日期
df[&＃39;日期&＃39;].max()Timestamp(&＃39;2019-03-31 00:00:00&＃39;)


#最小的工号
df[&＃39;工号&＃39;].min()1001


#第一个最小交易额的行下标
index&＃61;df[&＃39;交易额&＃39;].idxmin()
print(index)
#第一个最小交易额
print(df.loc[index,&＃39;交易额&＃39;])76
53.0


#第一个最大交易额的行下标
index&＃61;df[&＃39;交易额&＃39;].idxmax()
print(index)
#第一个最大交易额
print(df.loc[index,&＃39;交易额&＃39;])105
12100.0


按不同标准对数据排序

#按交易额和工号降序排序
df.sort_values(by&＃61;[&＃39;交易额&＃39;,&＃39;工号&＃39;],ascending&＃61;False)


#按交易额降序、工号升序排序
df.sort_values(by&＃61;[&＃39;交易额&＃39;,&＃39;工号&＃39;],ascending&＃61;[False,True])


#按工号升序排序,na_position指定缺失值放在最前面/后面&＃xff0c;first/last
df.sort_values(by&＃61;&＃39;工号&＃39;,na_position&＃61;&＃39;last&＃39;)


#按列名升序排序
#汉字的Unicode编码排序
df.sort_values(by&＃61;&＃39;姓名&＃39;,ascending&＃61;True)


使用分组与聚合对员工业绩进行汇总

#index对5求余&＃xff0c;然后求和
df.groupby(by&＃61;lambda num:num%5)[&＃39;交易额&＃39;].sum()


#根据指定字典的键对index进行分组&＃xff0c;值为index标签
df.groupby(by&＃61;{7:&＃39;下标为7的行&＃39;,35:&＃39;下标为35的行&＃39;})[&＃39;交易额&＃39;].sum()


#不同时段的销售总额
df.groupby(by&＃61;&＃39;时段&＃39;)[&＃39;交易额&＃39;].sum()


某行数据有问题&＃xff0c;但无伤大雅&＃xff0c;重要的是方法

#各柜台销售总额
df.groupby(by&＃61;&＃39;柜台&＃39;)[&＃39;交易额&＃39;].sum()


#查看每个员工上班总时长是否均匀
ddf&＃61;df.groupby(by&＃61;&＃39;姓名&＃39;)[&＃39;日期&＃39;].count()
ddf.name&＃61;&＃39;上班次数&＃39;
ddf


#每个员工交易额的平均值
df.groupby(by&＃61;&＃39;姓名&＃39;)[&＃39;交易额&＃39;].mean().round(2).sort_values()


#汇总交易额转换为整数
df.groupby(by&＃61;&＃39;姓名&＃39;).sum()[&＃39;交易额&＃39;].apply(int)


#每个员工交易额的中值
df.groupby(by&＃61;&＃39;姓名&＃39;)[&＃39;交易额&＃39;].median()


# 每个员工交易额中值的排名
dff&＃61;df.groupby(by&＃61;&＃39;姓名&＃39;).median()
dff[&＃39;排名&＃39;]&＃61;dff[&＃39;交易额&＃39;].rank(ascending&＃61;False)
dff[[&＃39;交易额&＃39;,&＃39;排名&＃39;]]


# 每个员工不同时段的交易额
df.groupby(by&＃61;[&＃39;姓名&＃39;,&＃39;时段&＃39;])[&＃39;交易额&＃39;].sum()


# 时段和交易额采用不同的聚合方式
df.groupby(by&＃61;[&＃39;姓名&＃39;])[&＃39;时段&＃39;,&＃39;交易额&＃39;].aggregate({&＃39;交易额&＃39;:[&＃39;sum&＃39;],&＃39;时段&＃39;:lambda x:&＃39;各时段累计&＃39;})


# 使用DataFrame结构的agg()方法对指定列进行聚合
df.agg({&＃39;交易额&＃39;:[&＃39;sum&＃39;,&＃39;mean&＃39;,&＃39;min&＃39;,&＃39;max&＃39;,&＃39;median&＃39;],&＃39;日期&＃39;:[&＃39;min&＃39;,&＃39;max&＃39;]})


# 对分组结果进行聚合
df.groupby(by&＃61;&＃39;姓名&＃39;).agg([&＃39;max&＃39;,&＃39;min&＃39;,&＃39;mean&＃39;,&＃39;median&＃39;])[[&＃39;工号&＃39;,&＃39;交易额&＃39;]]