作者:刘早起
来源:早起python,禁止二次转载
『Pandas进阶修炼120题』系列现已完结,我们对Pandas中常用的操作以习题的形式发布。从读取数据到高级操作全部包含,希望可以通过刷题的方式来完整学习pandas中数据处理的各种方法,当然如果你是高手,也欢迎尝试给出与答案不同的解法。
1创建DataFrame题目:将下面的字典创建为DataFramedata = {"grammer":["Python","C","Java","GO",np.nan,"SQL","PHP","Python"],
难度:⭐期望结果
"score":[1,2,np.nan,4,5,6,7,10]}
df = pd.DataFrame(data)
本期所有题目均基于该数据框给出 2数据提取题目:提取含有字符串"Python"的行难度:⭐⭐期望结果
grammer score
答案:
0 Python 1.0
7 Python 10.0
result=df[df['grammer'].str.contains("Python")]
3提取列名题目:输出df的所有列名难度:⭐期望结果
Index(['grammer', 'score'], dtype='object')
答案
df.columns
4修改列名题目:修改第二列列名为'popularity'难度:⭐⭐答案
df.rename(columns={'score':'popularity'}, inplace = True)
5字符统计题目:统计grammer列中每种编程语言出现的次数难度:⭐⭐答案
df['grammer'].value_counts()
6缺失值处理题目:将空值用上下值的平均值填充难度:⭐⭐⭐答案
df['popularity'] = df['popularity'].fillna(df['popularity'].interpolate())
7数据提取题目:提取popularity列中值大于3的行难度:⭐⭐答案
df[df['popularity'] > 3]
8数据去重题目:按照grammer列进行去重难度:⭐⭐答案
df.drop_duplicates(['grammer'])
9数据计算题目:计算popularity列平均值难度:⭐⭐答案
df['popularity'].mean()
10格式转换题目:将grammer列转换为list难度:⭐⭐答案
df['grammer'].to_list()
11数据保存题目:将DataFrame保存为EXCEL难度:⭐⭐答案
df.to_excel('filename.xlsx')
12数据查看题目:查看数据行列数难度:⭐答案
df.shape
13数据提取题目:提取popularity列值大于3小于7的行难度:⭐⭐答案
df[(df['popularity'] > 3) & (df['popularity'] 7)]
14位置处理题目:交换两列位置难度:⭐⭐⭐答案
'''
15数据提取题目:提取popularity列最大值所在行难度:⭐⭐答案
方法1
'''
temp = df['popularity']
df.drop(labels=['popularity'], axis=1,inplace = True)
df.insert(0, 'popularity', temp)
df
'''
方法2
cols = df.columns[[1,0]]
df = df[cols]
df
'''
df[df['popularity'] == df['popularity'].max()]
16数据查看题目:查看最后5行数据难度:⭐答案
df.tail()
17数据修改题目:删除最后一行数据难度:⭐答案
df.drop([len(df)-1],inplace=True)
18数据修改题目:添加一行数据['Perl',6.6]难度:⭐⭐答案
row={'grammer':'Perl','popularity':6.6}
19数据整理题目:对数据按照"popularity"列值的大小进行排序难度:⭐⭐答案
df = df.append(row,ignore_index=True)
df.sort_values("popularity",inplace=True)
20字符统计题目:统计grammer列每个字符串的长度难度:⭐⭐⭐答案
df['grammer'].map(lambda x: len(x))
第二期:数据处理基础
21数据读取题目:读取本地EXCEL数据难度:⭐答案df = pd.read_excel('pandas120.xlsx')
本期部分习题与该数据相关
22数据查看题目:查看df数据前5行难度:⭐期望输出答案df.head()
23数据计算题目:将salary列数据转换为最大值与最小值的平均值难度:⭐⭐⭐⭐期望输出
#备注,在某些版本pandas中.ix方法可能失效,可使用.iloc,参考https://mp.weixin.qq.com/s/5xJ-VLaHCV9qX2AMNOLRtw
24数据分组题目:将数据根据学历进行分组并计算平均薪资难度:⭐⭐⭐期望输出
#为什么不能直接使用max,min函数,因为我们的数据中是20k-35k这种字符串,所以需要先用正则表达式提取数字
import re
for i in range(len(df)):
str1 = df.ix[i,2]
k = re.findall(r"\d+\.?\d*",str1)
salary = ((int(k[0]) + int(k[1]))/2)*1000
df.ix[i,2] = salary
df
education salary
答案
不限 19600.000000
大专 10000.000000
本科 19361.344538
硕士 20642.857143
df.groupby('education').mean()
25时间转换题目:将createTime列时间转换为月-日难度:⭐⭐⭐期望输出
#备注,在某些版本pandas中.ix方法可能失效,可使用.iloc,参考https://mp.weixin.qq.com/s/5xJ-VLaHCV9qX2AMNOLRtw
26数据查看题目:查看索引、数据类型和内存信息难度:⭐期望输出
for i in range(len(df)):
df.ix[i,0] = df.ix[i,0].to_pydatetime().strftime("%m-%d")
df.head()
答案
RangeIndex: 135 entries, 0 to 134
Data columns (total 4 columns):
createTime 135 non-null object
education 135 non-null object
salary 135 non-null int64
categories 135 non-null category
dtypes: category(1), int64(1), object(2)
memory usage: 3.5+ KB
df.info()
27数据查看题目:查看数值型列的汇总统计难度:⭐答案
df.describe()
28数据整理题目:新增一列根据salary将数据分为三组难度:⭐⭐⭐⭐输入期望输出
bins = [0,5000, 20000, 50000]
29数据整理题目:按照salary列对数据降序排列难度:⭐⭐答案
group_names = ['低', '中', '高']
df['categories'] = pd.cut(df['salary'], bins, labels=group_names)
df.sort_values('salary', ascending=False)
30数据提取题目:取出第33行数据难度:⭐⭐答案
df.loc[32]
31数据计算题目:计算salary列的中位数难度:⭐⭐答案
np.median(df['salary'])
32数据可视化题目:绘制薪资水平频率分布直方图难度:⭐⭐⭐期望输出
df.salary.plot(kind='hist')
33数据可视化题目:绘制薪资水平密度曲线难度:⭐⭐⭐期望输出
df.salary.plot(kind='kde',xlim=(0,80000))
34数据删除题目:删除最后一列categories难度:⭐答案
del df['categories']
35数据处理题目:将df的第一列与第二列合并为新的一列难度:⭐⭐答案
df['test'] = df['education']+df['createTime']
36数据处理题目:将education列与salary列合并为新的一列难度:⭐⭐⭐备注:salary为int类型,操作与35题有所不同答案
df["test1"] = df["salary"].map(str) + df['education']
37数据计算题目:计算salary最大值与最小值之差难度:⭐⭐⭐答案
df[['salary']].apply(lambda x: x.max() - x.min())
38数据处理题目:将第一行与最后一行拼接难度:⭐⭐答案
pd.concat([df[:1], df[-2:-1]])
39数据处理题目:将第8行数据添加至末尾难度:⭐⭐答案
df.append(df.iloc[7])
40数据查看题目:查看每列的数据类型难度:⭐期望结果
createTime object
答案
education object
salary int64
test object
test1 object
dtype: object
df.dtypes
41数据处理题目:将createTime列设置为索引难度:⭐⭐答案
df.set_index("createTime")
42数据创建题目:生成一个和df长度相同的随机数dataframe难度:⭐⭐答案
df1 = pd.DataFrame(pd.Series(np.random.randint(1, 10, 135)))
43数据处理题目:将上一题生成的dataframe与df合并难度:⭐⭐答案
df= pd.concat([df,df1],axis=1)
44数据计算题目:生成新的一列new为salary列减去之前生成随机数列难度:⭐⭐答案
df["new"] = df["salary"] - df[0]
45缺失值处理题目:检查数据中是否含有任何缺失值难度:⭐⭐⭐答案
df.isnull().values.any()
46数据转换题目:将salary列类型转换为浮点数难度:⭐⭐⭐答案
df['salary'].astype(np.float64)
47数据计算题目:计算salary大于10000的次数难度:⭐⭐答案
len(df[df['salary']>10000])
48数据统计题目:查看每种学历出现的次数难度:⭐⭐⭐期望输出
本科 119
答案
硕士 7
不限 5
大专 4
Name: education, dtype: int64
df.education.value_counts()
49数据查看题目:查看education列共有几种学历难度:⭐⭐答案
df['education'].nunique()
50数据提取题目:提取salary与new列的和大于60000的最后3行难度:⭐⭐⭐⭐期望输出
df1 = df[['salary','new']]
rowsums = df1.apply(np.sum, axis=1)
res = df.iloc[np.where(rowsums > 60000)[0][-3:], :]
第三期:金融数据处理
51数据读取题目:使用绝对路径读取本地Excel数据难度:⭐答案data = pd.read_excel('/Users/Desktop/600000.SH.xls')
备注
请将答案中路径替换为自己机器存储数据的绝对路径,本期相关习题与该数据有关
52数据查看题目:查看数据前三行难度:⭐期望结果答案data.head(3)
53缺失值处理题目:查看每列数据缺失值情况难度:⭐⭐期望结果
代码 1
简称 2
日期 2
前收盘价(元) 2
开盘价(元) 2
最高价(元) 2
最低价(元) 2
收盘价(元) 2
成交量(股) 2
成交金额(元) 2
.................
答案
data.isnull().sum()
54缺失值处理题目:提取日期列含有空值的行难度:⭐⭐期望结果
data[data['日期'].isnull()]
55缺失值处理题目:输出每列缺失值具体行数难度:⭐⭐⭐期望结果
列名:"代码", 第[327]行位置有缺失值
列名:"简称", 第[327, 328]行位置有缺失值
列名:"日期", 第[327, 328]行位置有缺失值
列名:"前收盘价(元)", 第[327, 328]行位置有缺失值
列名:"开盘价(元)", 第[327, 328]行位置有缺失值
列名:"最高价(元)", 第[327, 328]行位置有缺失值
列名:"最低价(元)", 第[327, 328]行位置有缺失值
列名:"收盘价(元)", 第[327, 328]行位置有缺失值
................
答案
for columname in data.columns:
56缺失值处理题目:删除所有存在缺失值的行难度:⭐⭐答案
if data[columname].count() != len(data):
loc = data[columname][data[columname].isnull().values==True].index.tolist()
print('列名:"{}", 第{}行位置有缺失值'.format(columname,loc))
data.dropna(axis=0, how='any', inplace=True)
备注
axis:0-行操作(默认),1-列操作
57数据可视化题目:绘制收盘价的折线图难度:⭐⭐期望结果
how:any-只要有空值就删除(默认),all-全部为空值才删除
inplace:False-返回新的数据集(默认),True-在原数据集上操作
data['收盘价(元)'].plot()
58数据可视化题目:同时绘制开盘价与收盘价难度:⭐⭐⭐期望结果
答案
data[['收盘价(元)','开盘价(元)']].plot()
备注
中文显示请自己设置,我的字体乱了
59数据可视化题目:绘制涨跌幅的直方图难度:⭐⭐期望结果答案
data['涨跌幅(%)'].hist()
60数据可视化题目:让直方图更细致难度:⭐⭐期望结果
data['涨跌幅(%)'].hist(bins = 30)
61数据创建题目:以data的列名创建一个dataframe难度:⭐⭐答案
temp = pd.DataFrame(columns = data.columns.to_list())
62异常值处理题目:打印所有换手率不是数字的行难度:⭐⭐⭐期望结果
for i in range(len(data)):
63异常值处理题目:打印所有换手率为--的行难度:⭐⭐⭐答案
if type(data.iloc[i,13]) != float:
temp = temp.append(data.loc[i])
temp
data[data['换手率(%)'].isin(['--'])]
备注
通过上一题我们发现换手率的异常值只有--
64数据处理题目:重置data的行号难度:⭐答案data = data.reset_index()
备注
有时我们修改数据会导致索引混乱
65异常值处理题目:删除所有换手率为非数字的行难度:⭐⭐⭐答案k =[]
66数据可视化题目:绘制换手率的密度曲线难度:⭐⭐⭐期望结果
for i in range(len(data)):
if type(data.iloc[i,13]) != float:
k.append(i)
data.drop(labels=k,inplace=True)
data['换手率(%)'].plot(kind='kde')
67数据计算题目:计算前一天与后一天收盘价的差值难度:⭐⭐答案
data['收盘价(元)'].diff()
68数据计算题目:计算前一天与后一天收盘价变化率难度:⭐⭐答案
data['收盘价(元)'].pct_change()
69数据处理题目:设置日期为索引难度:⭐答案
data.set_index('日期')
70指标计算
题目:以5个数据作为一个数据滑动窗口,在这个5个数据上取均值(收盘价)
难度:⭐⭐⭐答案data['收盘价(元)'].rolling(5).mean()
71指标计算
题目:以5个数据作为一个数据滑动窗口,计算这五个数据总和(收盘价)
难度:⭐⭐⭐答案data['收盘价(元)'].rolling(5).sum()
72数据可视化
题目:将收盘价5日均线、20日均线与原始数据绘制在同一个图上
难度:⭐⭐⭐期望结果答案data['收盘价(元)'].plot()
73数据重采样
data['收盘价(元)'].rolling(5).mean().plot()
data['收盘价(元)'].rolling(20).mean().plot()
题目:按周为采样规则,取一周收盘价最大值
难度:⭐⭐⭐ 答案data['收盘价(元)'].resample('W').max()
74Spyder——Python编程的“热带雨林”
题目:绘制重采样数据与原始数据
难度:⭐⭐⭐ 期望结果 答案data['收盘价(元)'].plot()
75数据处理题目:将数据往后移动5天难度:⭐⭐答案
data['收盘价(元)'].resample('7D').max().plot()
data.shift(5)
76数据处理题目:将数据向前移动5天难度:⭐⭐答案
data.shift(-5)
77数据计算题目:使用expending函数计算开盘价的移动窗口均值难度:⭐⭐答案
data['开盘价(元)'].expanding(min_periods=1).mean()
78数据可视化题目:绘制上一题的移动均值与原始数据折线图难度:⭐⭐⭐期望结果
答案
data[' expanding Open mean']=data['开盘价(元)'].expanding(min_periods=1).mean()
79数据计算题目:计算布林指标难度:⭐⭐⭐⭐答案
data[['开盘价(元)', 'expanding Open mean']].plot(figsize=(16, 6))
data['former 30 days rolling Close mean']=data['收盘价(元)'].rolling(20).mean()
80数据可视化题目:计算布林线并绘制难度:⭐⭐⭐期望结果
data['upper bound']=data['former 30 days rolling Close mean']+2*data['收盘价(元)'].rolling(20).std()#在这里我们取20天内的标准差
data['lower bound']=data['former 30 days rolling Close mean']-2*data['收盘价(元)'].rolling(20).std()
data[['收盘价(元)', 'former 30 days rolling Close mean','upper bound','lower bound' ]].plot(figsize=(16, 6))
第四期:当Pandas遇上NumPy
81数据查看题目:导入并查看pandas与numpy版本难度:⭐答案import pandas as pd
82数据创建题目:从NumPy数组创建DataFrame难度:⭐备注使用numpy生成20个0-100随机数答案
import numpy as np
print(np.__version__)
print(pd.__version__)
tem = np.random.randint(1,100,20)
83数据创建题目:从NumPy数组创建DataFrame难度:⭐备注使用numpy生成20个0-100固定步长的数答案
df1 = pd.DataFrame(tem)
tem = np.arange(0,100,5)
84数据创建题目:从NumPy数组创建DataFrame难度:⭐备注使用numpy生成20个指定分布(如标准正态分布)的数答案
df2 = pd.DataFrame(tem)
tem = np.random.normal(0, 1, 20)
85数据创建题目:将df1,df2,df3按照行合并为新DataFrame难度:⭐⭐答案
df3 = pd.DataFrame(tem)
df = pd.concat([df1,df2,df3],axis=0,ignore_index=True)
86数据创建题目:将df1,df2,df3按照列合并为新DataFrame难度:⭐⭐期望结果
0 1 2
答案
0 95 0 0.022492
1 22 5 -1.209494
2 3 10 0.876127
3 21 15 -0.162149
4 51 20 -0.815424
5 30 25 -0.303792
...............
df = pd.concat([df1,df2,df3],axis=1,ignore_index=True)
87数据查看题目:查看df所有数据的最小值、25%分位数、中位数、75%分位数、最大值难度:⭐⭐答案
df
print(np.percentile(df, q=[0, 25, 50, 75, 100]))
88数据修改题目:修改列名为col1,col2,col3难度:⭐答案
df.columns = ['col1','col2','col3']
89数据提取题目:提取第一列中不在第二列出现的数字难度:⭐⭐⭐答案
df['col1'][~df['col1'].isin(df['col2'])]
90数据提取题目:提取第一列和第二列出现频率最高的三个数字难度:⭐⭐⭐答案
temp = df['col1'].append(df['col2'])
91数据提取题目:提取第一列中可以整除5的数字位置难度:⭐⭐⭐答案
temp.value_counts().index[:3]
np.argwhere(df['col1'] % 5==0)
92数据计算题目:计算第一列数字前一个与后一个的差值难度:⭐⭐答案
df['col1'].diff().tolist()
93数据处理题目:将col1,col2,clo3三列顺序颠倒难度:⭐⭐答案
df.ix[:, ::-1]
94数据提取题目:提取第一列位置在1,10,15的数字难度:⭐⭐答案
df['col1'].take([1,10,15])
95数据查找题目:查找第一列的局部最大值位置难度:⭐⭐⭐⭐备注即比它前一个与后一个数字的都大的数字答案
tem = np.diff(np.sign(np.diff(df['col1'])))
96数据计算题目:按行计算df的每一行均值难度:⭐⭐答案
np.where(tem == -2)[0] + 1
df[['col1','col2','col3']].mean(axis=1)
97数据计算题目:对第二列计算移动平均值难度:⭐⭐⭐备注每次移动三个位置,不可以使用自定义函数答案
np.convolve(df['col2'], np.ones(3)/3, mode='valid')
98数据修改题目:将数据按照第三列值的大小升序排列难度:⭐⭐答案
df.sort_values("col3",inplace=True)
99数据修改题目:将第一列大于50的数字修改为'高'难度:⭐⭐答案
df.col1[df['col1'] > 50]= '高'
100数据计算题目:计算第一列与第二列之间的欧式距离难度:⭐⭐⭐备注不可以使用自定义函数答案
np.linalg.norm(df['col1']-df['col2'])
第五期:一些补充
101数据读取题目:从CSV文件中读取指定数据难度:⭐⭐备注从数据1中的前10行中读取positionName, salary两列答案df = pd.read_csv('数据1.csv',encoding='gbk', usecols=['positionName', 'salary'],nrows = 10)
102数据读取题目:从CSV文件中读取指定数据难度:⭐⭐备注从数据2中读取数据并在读取数据时将薪资大于10000的为改为高
答案
df = pd.read_csv('数据2.csv',converters={'薪资水平': lambda x: '高' if float(x) > 10000 else '低'} )
103数据计算题目:从dataframe提取数据难度:⭐⭐⭐备注从上一题数据中,对薪资水平列每隔20行进行一次抽样
期望结果
答案
df.iloc[::20, :][['薪资水平']]
104数据处理题目:将数据取消使用科学计数法难度:⭐⭐输入
df = pd.DataFrame(np.random.random(10)**10, columns=['data'])
期望结果
答案
df.round(3)
105数据处理题目:将上一题的数据转换为百分数难度:⭐⭐⭐期望结果
df.style.format({'data': '{0:.2%}'.format})
106数据查找题目:查找上一题数据中第3大值的行号难度:⭐⭐⭐答案
df['data'].argsort()[::-1][7]
107数据处理题目:反转df的行难度:⭐⭐答案
df.iloc[::-1, :]
108数据重塑题目:按照多列对数据进行合并难度:⭐⭐输入
df1= pd.DataFrame({'key1': ['K0', 'K0', 'K1', 'K2'],
答案
'key2': ['K0', 'K1', 'K0', 'K1'],
'A': ['A0', 'A1', 'A2', 'A3'],
'B': ['B0', 'B1', 'B2', 'B3']})
df2= pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'],
'key2': ['K0', 'K0', 'K0', 'K0'],
'C': ['C0', 'C1', 'C2', 'C3'],
'D': ['D0', 'D1', 'D2', 'D3']})
pd.merge(df1, df2, on=['key1', 'key2'])
109数据重塑题目:按照多列对数据进行合并难度:⭐⭐
备注
只保存df1的数据
答案
pd.merge(df1, df2, how='left', on=['key1', 'key2'])
110数据处理题目:再次读取数据1并显示所有的列难度:⭐⭐备注数据中由于列数较多中间列不显示答案
df = pd.read_csv('数据1.csv',encoding='gbk')
111数据查找题目:查找secondType与thirdType值相等的行号难度:⭐⭐答案
pd.set_option("display.max.columns", None)
df
np.where(df.secondType == df.thirdType)
112数据查找题目:查找薪资大于平均薪资的第三个数据难度:⭐⭐⭐答案
np.argwhere(df['salary'] > df['salary'].mean())[2]
113数据计算题目:将上一题数据的salary列开根号难度:⭐⭐答案
df[['salary']].apply(np.sqrt)
114数据处理题目:将上一题数据的linestaion列按_拆分难度:⭐⭐答案
df['split'] = df['linestaion'].str.split('_')
115数据查看题目:查看上一题数据中一共有多少列难度:⭐答案
df.shape[1]
116数据提取题目:提取industryField列以'数据'开头的行难度:⭐⭐答案
df[df['industryField'].str.startswith('数据')]
117数据计算题目:按列制作数据透视表难度:⭐⭐⭐答案
pd.pivot_table(df,values=["salary","score"],index="positionId")
118数据计算题目:同时对salary、score两列进行计算难度:⭐⭐⭐答案
df[["salary","score"]].agg([np.sum,np.mean,np.min])
119数据计算题目:对不同列执行不同的计算难度:⭐⭐⭐备注对salary求平均,对score列求和答案
df.agg({"salary":np.sum,"score":np.mean})
120数据计算题目:计算并提取平均薪资最高的区难度:⭐⭐⭐⭐答案
df[['district','salary']].groupby(by='district').mean().sort_values('salary',ascending=False).head(1)
以上就是Pandas进阶修炼120题全部内容,如果能坚持走到这里的读者,我想你已经掌握了处理数据的常用操作,并且在之后的数据分析中碰到相关问题,希望武装了Pandas的你能够从容的解决!
另外我已将习题与源码整理成电子版,后台回复 120 即可下载
近期文章,点击图片即刻查看后台回复「进群」,加入读者交流群~
昨日最多赞留言“HeoiJinChan”+26积分;
纯眼熟留言“瓜”+50积分
点击「积分」,了解积分规则~五
【凹凸数据】本次联合【机械工业出版社】为大家送上1本《Hive性能调优实战》,限时500积分即可兑换,先到先得
朱小五