利用Python进行航空公司数据的数据挖掘与预处理

Python数据预处理

一、内容&＃xff1a;

1、数据清洗
2、数据集成
3、数据可视化

二、实验数据

根据航空公司系统内的客户基本信息、乘机信息以及积分信息等详细数据&＃xff0c;依据末次飞行日期( LAST_FLIGHT_DATE)&＃xff0c;以2014年3月31日为结束时间&＃xff0c;选取宽度为两年的时间段作为分析观测窗口&＃xff0c;抽取观测窗口2012年4月1日至2014年3月31日内有乘机记录的所有客户的详细数据形成历史数据&＃xff0c;分为air_data01.xlsx、air_data02.xlsx总共62988条记录。其中包含了会员卡号、入会时间、性别、年龄、会员卡级别、工作地城市、工作地所在省份、工作地所在国家、观测窗口结束时间、观测窗口乘机积分、飞行公里数、飞行次数、飞行时间、乘机时间间隔、平均折扣率等44个属性,如下表2-1所示。

三、设计方案

1、数据清洗&＃xff1a;

a.首先将数据进行统计性分析&＃xff0c;查找每列属性观测值中的空值个数最大值、最小值。得到的分析结果表如下表3-1所示。通过对原始数据观察发现数据中存在票价为空值的记录&＃xff0c;同时存在票价最小值为0、折扣率最小值为0但总飞行公里数大于0的记录。票价为空值的数据可能是客户不存在乘机记录造成的。其他的数据可能是客户乘坐0折机票或者积分兑换造成的。

b.紧接着是分别对air_data01、air_data02两个数据集进行读取&＃xff0c;并进行重复数据筛选与删除&＃xff0c;对绘制箱型图年龄和票价为空的记录等异常值进行发现与删除&＃xff0c;保留清洗后的数据。

2.数据集成

这一步是将数据清洗后的air_data01、air_data02两个数据集合并存放在一个数据存储中(cleanedfile_finish.csv)&＃xff0c;目的是为了便于后续的数据挖掘工作。

3.数据可视化

使用数据集成后的新产生的多维数据集cleanedfile_finish.csv对数据进行可视化操作&＃xff0c;并对表格中的统计数据完成直方图、饼图、条形图、箱型图、热力图的绘制。

四、实验结论

1、程序源代码

1&＃xff09;数据清洗

a、准备工作&＃xff1a;

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt


b、数据统计性分析&＃xff1a;

datafile&＃061; &＃039;air_data01.xlsx&＃039; # 航空原始数据,第一行为属性标签
resultfile &＃061; &＃039;explore.csv&＃039; # 数据统计性分析结果表
data &＃061; pd.read_excel(datafile)
datafile2&＃061; &＃039;air_data02.xlsx&＃039;
resultfile2 &＃061; &＃039;explore2.csv&＃039;
data2 &＃061; pd.read_excel(datafile2)
explore &＃061; data.describe(percentiles &＃061; [], include &＃061; &＃039;all&＃039;).T # T是转置
explore[&＃039;null&＃039;] &＃061; len(data)-explore[&＃039;count&＃039;]
explore &＃061; explore[[&＃039;null&＃039;, &＃039;max&＃039;, &＃039;min&＃039;]]
explore.columns &＃061; [&＃039;空值数&＃039;, &＃039;最大值&＃039;, &＃039;最小值&＃039;] # 表头重命名
explore.to_csv(&＃039;resultfile.csv&＃039;) # 导出结果
explore2 &＃061; data2.describe(percentiles &＃061; [], include &＃061; &＃039;all&＃039;).T # T是转置
explore2[&＃039;null&＃039;] &＃061; len(data)-explore2[&＃039;count&＃039;]
explore2 &＃061; explore2[[&＃039;null&＃039;, &＃039;max&＃039;, &＃039;min&＃039;]]
explore2.columns &＃061; [&＃039;空值数&＃039;, &＃039;最大值&＃039;, &＃039;最小值&＃039;]
explore2.to_csv(&＃039;resultfile2.csv&＃039;)
datatemp &＃061; pd.concat([explore,explore2],axis&＃061;0)
datatemp.to_csv(&＃039;data_Statistical analysis.csv&＃039;) # 导出最终结果


通过对原始数据观察发现数据中存在票价为空值的记录&＃xff0c;同时存在票价最小值为0、折扣率最小值为0但总飞行公里数大于0的记录。票价为空值的数据可能是客户不存在乘机记录造成的。其他的数据可能是客户乘坐0折机票或者积分兑换造成的。所以后面我们将对这一部分数据进行清除操作。

c、对数据集进行读取&＃xff1a;

df1 &＃061; pd.read_excel(&＃039;air_data01.xlsx&＃039;)
df2 &＃061; pd.read_excel(&＃039;air_data02.xlsx&＃039;)
对重复数据进行删除&＃xff1a;
def df_drop(df): #删除重复数据
print("yunxingle")
df_1 &＃061; df.duplicated() #进行重复判断
print("重复判断\n&＃xff1a;",df_1)
df_2 &＃061; df[df.duplicated()]#显示重复数据sss
print("\n\n\n重复数据\n",df_2)
df_new &＃061; df.drop_duplicates() #删除重复数据
return df_new
df_drop(df1)
df_drop(df2)


d、对缺失行进行删除&＃xff1a;

def df_kong(df):
df_1 &＃061; df.apply(lambda col:sum(col.isnull())/col.size)
print(&＃039;\n判断缺失情况:\n\n&＃039;,df_1)
df_2 &＃061; df.dropna(how&＃061;&＃039;any&＃039;)#删除所有含有缺失值的行
print(df_2.head(10))
return df_2
df_kong(df1)
df_kong(df2)


e、合并数据并保存:

data_new1 &＃061; df_kong(df_drop(df1))
data_new2 &＃061; df_kong(df_drop(df2))
data_integrated &＃061; pd.concat([data_new1,data_new2],axis&＃061;1)
data_integrated.to_csv(&＃039;data_integrated.csv&＃039;) # 保存清洗后的数据


f、异常值清除&＃xff1a;

data &＃061; pd.read_csv(&＃039;data_integrated.csv&＃039;)
# data &＃061; data_new1
age &＃061; data[&＃039;AGE&＃039;].dropna()
age &＃061; age.astype(&＃039;int64&＃039;)
# 绘制会员年龄分布箱型图
plt.rcParams[&＃039;font.sans-serif&＃039;] &＃061; &＃039;SimHei&＃039; # 设置中文显示
fig &＃061; plt.figure(figsize &＃061; (5 ,10))
plt.boxplot(age, patch_artist&＃061;True,
labels &＃061; [&＃039;会员年龄&＃039;], # 设置x轴标题
boxprops &＃061; {&＃039;facecolor&＃039;:&＃039;lightblue&＃039;}) # 设置填充颜色
plt.title(&＃039;会员年龄分布箱线图&＃039;)
# 显示y坐标轴的底线
plt.grid(axis&＃061;&＃039;y&＃039;)
plt.show()
plt.close()
# 箱型图显示年龄数据存在有大于100的异常值&＃xff0c;下面予以修正
print(&＃039;原始数据的形状为&＃xff1a;&＃039;,data.shape)
index &＃061; data[&＃039;AGE&＃039;] > 100 # 去除年龄大于100的记录
data2 &＃061; data[~index]
print(&＃039;数据清洗后数据的形状为&＃xff1a;&＃039;,data2.shape)
data2.to_csv(&＃039;cleanedfile_01.csv&＃039;) # 保存清洗后的数据
age &＃061; data2[&＃039;AGE&＃039;].dropna()
age &＃061; age.astype(&＃039;int64&＃039;)
# 绘制会员年龄分布箱型图
plt.rcParams[&＃039;font.sans-serif&＃039;] &＃061; &＃039;SimHei&＃039; # 设置中文显示
fig2 &＃061; plt.figure(figsize &＃061; (5 ,10))
plt.boxplot(age, patch_artist&＃061;True,
labels &＃061; [&＃039;会员年龄&＃039;], # 设置x轴标题
boxprops &＃061; {&＃039;facecolor&＃039;:&＃039;lightblue&＃039;}) # 设置填充颜色
plt.title(&＃039;会员年龄分布箱线图&＃039;)
# 显示y坐标轴的底线
plt.grid(axis&＃061;&＃039;y&＃039;)
plt.show()
plt.close()
data3 &＃061; pd.read_csv(&＃039;cleanedfile_01.csv&＃039;,encoding &＃061; &＃039;utf-8&＃039;)
print(&＃039;原始数据的形状为&＃xff1a;&＃039;,data3.shape)
# 去除票价为空的记录
data3_notnull &＃061; data3.loc[data3[&＃039;SUM_YR_1&＃039;].notnull() &
data3[&＃039;SUM_YR_2&＃039;].notnull(),:]
print(&＃039;删除缺失记录后数据的形状为&＃xff1a;&＃039;,data3_notnull.shape)
# data3_notnull.to_csv(&＃039;data3_notnull.csv&＃039;) # 保存清洗后的数据
# 只保留票价非零的&＃xff0c;或者平均折扣率不为0且总飞行公里数大于0的记录。
index1 &＃061; data3_notnull[&＃039;SUM_YR_1&＃039;] !&＃061; 0
index2 &＃061; data3_notnull[&＃039;SUM_YR_2&＃039;] !&＃061; 0
index3 &＃061; (data3_notnull[&＃039;SEG_KM_SUM&＃039;]> 0) & (data3_notnull[&＃039;avg_discount&＃039;] !&＃061; 0)
cleanedfile_02 &＃061; data3_notnull[(index1 | index2) & index3]
print(&＃039;数据清洗后数据的形状为&＃xff1a;&＃039;,cleanedfile_02.shape)
cleanedfile_02.to_csv(&＃039;cleanedfile_finish1.csv&＃039;) # 保存清洗后的数据


2&＃xff09;数据集成

data_new1 &＃061; df_kong(df_drop(df1))
data_new2 &＃061; df_kong(df_drop(df2))
data_integrated &＃061; pd.concat([data_new1,data_new2],axis&＃061;1)#数据集成
data_integrated.to_csv(&＃039;data_integrated.csv&＃039;) # 保存清洗后的数据


3&＃xff09;数据可视化

a、准备工作&＃xff1a;

import pandas as pd
import matplotlib.pyplot as plt
datafile&＃061; &＃039;cleanedfile_finish.csv&＃039;


b、各年份会员入会人数直方图绘制&＃xff1a;

from datetime import datetime
ffp &＃061; data[&＃039;FFP_DATE&＃039;].apply(lambda x:datetime.strptime(x,&＃039;%Y-%m-%d&＃039;))
ffp_year &＃061; ffp.map(lambda x : x.year)
# 绘制各年份会员入会人数直方图
fig &＃061; plt.figure(figsize &＃061; (8 ,5))
plt.rcParams[&＃039;font.sans-serif&＃039;] &＃061; &＃039;SimHei&＃039;
plt.rcParams[&＃039;axes.unicode_minus&＃039;] &＃061; False
plt.hist(ffp_year, bins&＃061;&＃039;auto&＃039;, color&＃061;&＃039;#0504aa&＃039;)
plt.xlabel(&＃039;年份&＃039;)
plt.ylabel(&＃039;入会人数&＃039;)
plt.title(&＃039;各年份会员入会人数&＃039;)
plt.show()
plt.close


c、会员性别比例饼饼图绘制&＃xff1a;

male &＃061; pd.value_counts(data[&＃039;GENDER&＃039;])[&＃039;男&＃039;]
female &＃061; pd.value_counts(data[&＃039;GENDER&＃039;])[&＃039;女&＃039;]
# 绘制会员性别比例饼图
fig &＃061; plt.figure(figsize &＃061; (7 ,4)) # 设置画布大小
plt.pie([ male, female], labels&＃061;[&＃039;男&＃039;,&＃039;女&＃039;], colors&＃061;[&＃039;lightskyblue&＃039;, &＃039;lightcoral&＃039;],
autopct&＃061;&＃039;%1.1f%%&＃039;)
plt.title(&＃039;会员性别比例&＃039;)
plt.show()
plt.close


d、会员各级别人数条形图绘制&＃xff1a;

lv_four &＃061; pd.value_counts(data[&＃039;FFP_TIER&＃039;])[4]
lv_five &＃061; pd.value_counts(data[&＃039;FFP_TIER&＃039;])[5]
lv_six &＃061; pd.value_counts(data[&＃039;FFP_TIER&＃039;])[6]
# 绘制会员各级别人数条形图
fig &＃061; plt.figure(figsize &＃061; (8 ,5)) # 设置画布大小
plt.bar(x&＃061;range(3), height&＃061;[lv_four,lv_five,lv_six], width&＃061;0.4, alpha&＃061;0.8, color&＃061;&＃039;skyblue&＃039;)
plt.xticks([index for index in range(3)], [&＃039;4&＃039;,&＃039;5&＃039;,&＃039;6&＃039;])
plt.xlabel(&＃039;会员等级&＃039;)
plt.ylabel(&＃039;会员人数&＃039;)
plt.title(&＃039;会员各级别人数&＃039;)
plt.show()
plt.close()


e、会员年龄分布箱型图绘制&＃xff1a;

age &＃061; data[&＃039;AGE&＃039;].dropna()
age &＃061; age.astype(&＃039;int64&＃039;)
# 绘制会员年龄分布箱型图
fig &＃061; plt.figure(figsize &＃061; (5 ,10))
plt.boxplot(age,
patch_artist&＃061;True,
labels &＃061; [&＃039;会员年龄&＃039;], # 设置x轴标题
boxprops &＃061; {&＃039;facecolor&＃039;:&＃039;lightblue&＃039;})
plt.title(&＃039;会员年龄分布箱线图&＃039;)
plt.grid(axis&＃061;&＃039;y&＃039;)
plt.show()
plt.close


f、最后乘机至结束时长箱型图绘制&＃xff1a;

fig &＃061; plt.figure(figsize &＃061; (5 ,8))
plt.boxplot(lte,最后乘机至结束时长箱线图
patch_artist&＃061;True,
labels &＃061; [&＃039;时长&＃039;], # 设置x轴标题
boxprops &＃061; {&＃039;facecolor&＃039;:&＃039;lightblue&＃039;})
plt.title(&＃039;会员最后乘机至结束时长分布箱线图&＃039;)
plt.grid(axis&＃061;&＃039;y&＃039;)
plt.show()
plt.close


g、客户飞行次数箱型图绘制&＃xff1a;

fig &＃061; plt.figure(figsize &＃061; (5 ,8))
plt.boxplot(fc,
patch_artist&＃061;True,
labels &＃061; [&＃039;飞行次数&＃039;],
boxprops &＃061; {&＃039;facecolor&＃039;:&＃039;lightblue&＃039;})
plt.title(&＃039;会员飞行次数分布箱线图&＃039;)
# 显示y坐标轴的底线
plt.grid(axis&＃061;&＃039;y&＃039;)
plt.show()
plt.close


h、客户总飞行公里数箱型图绘制&＃xff1a;

fig &＃061; plt.figure(figsize &＃061; (5 ,10))
plt.boxplot(sks,
patch_artist&＃061;True,
labels &＃061; [&＃039;总飞行公里数&＃039;],
boxprops &＃061; {&＃039;facecolor&＃039;:&＃039;lightblue&＃039;})
plt.title(&＃039;客户总飞行公里数箱线图&＃039;)
# 显示y坐标轴的底线
plt.grid(axis&＃061;&＃039;y&＃039;)
plt.show()
plt.close


i、会员兑换积分次数直方图绘制&＃xff1a;

ec &＃061; data[&＃039;EXCHANGE_COUNT&＃039;]
fig &＃061; plt.figure(figsize &＃061; (8 ,5))
plt.hist(ec, bins&＃061;5, color&＃061;&＃039;#0504aa&＃039;)
plt.xlabel(&＃039;兑换次数&＃039;)
plt.ylabel(&＃039;会员人数&＃039;)
plt.title(&＃039;会员兑换积分次数分布直方图&＃039;)
plt.show()
plt.close


j、计算相关矩阵并绘制热力图&＃xff1a;

data_corr &＃061; data[[&＃039;FFP_TIER&＃039;,&＃039;FLIGHT_COUNT&＃039;,&＃039;LAST_TO_END&＃039;,
&＃039;SEG_KM_SUM&＃039;,&＃039;EXCHANGE_COUNT&＃039;,&＃039;Points_Sum&＃039;]]
age1 &＃061; data[&＃039;AGE&＃039;].fillna(0)
data_corr[&＃039;AGE&＃039;] &＃061; age1.astype(&＃039;int64&＃039;)
data_corr[&＃039;ffp_year&＃039;] &＃061; ffp_year
dt_corr &＃061; data_corr.corr(method &＃061; &＃039;pearson&＃039;)
print(&＃039;相关性矩阵为&＃xff1a;\n&＃039;,dt_corr)
import seaborn as sns
plt.subplots(figsize&＃061;(10, 10))
sns.heatmap(dt_corr, annot&＃061;True, vmax&＃061;1, square&＃061;True, cmap&＃061;&＃039;Blues&＃039;)
plt.show()
plt.close


2、程序相关结果展示

1&＃xff09;数据清洗

a、数据统计性分析&＃xff1a;

通过对原始数据观察发现数据中存在票价为空值的记录&＃xff0c;同时存在票价最小值为0、折扣率最小值为0但总飞行公里数大于0的记录。票价为空值的数据可能是客户不存在乘机记录造成的。其他的数据可能是客户乘坐0折机票或者积分兑换造成的。所以后面我们将对这一部分数据进行清除操作。

c、重复值分析&＃xff1a;

如图示&＃xff0c;显示有重复数据&＃xff0c;下面我们将重复数据进行展示。可以看出air_data01有71行重复数据。air_data02有1738行重复数据。


我们对重复数据执行删除操作。

d、缺失行进行分析&＃xff1a;


根据观察&＃xff0c;表格air_data01存在部分数据缺失&＃xff0c;因为数据量较为庞大&＃xff0c;所以我们对所有缺失的数据执行行删除操作。

e、重复数据与缺失数据删除前后数据对比:

f、异常值清除&＃xff1a;

根据会员年龄分布箱型图&＃xff0c;可以看出大部分会员年龄集中在30&＃xff5e;50岁之间&＃xff0c;极少量的会员年龄小于20岁或高于60岁&＃xff0c;且存在一个超过100岁的异常数据。我们对该AGE数据中大于100的进行删除&＃xff0c;所得结果如下图所示。

2&＃xff09;数据集成

保存数据到‘cleanedfile_finish1.csv’用于后续数据可视化。

3&＃xff09;数据可视化

a、各年份会员入会人数直方图绘制&＃xff1a;

可以发现入会人数大致是随着年份的增加而增加&＃xff0c;在2012年达到顶峰。2009年与2013年与趋势不符&＃xff0c;有可能是采样的问题&＃xff0c;有可能是其他类似政策的问题

b、会员性别比例饼饼图绘制&＃xff1a;
可以发现入会男性比例远远高于女性。

c、会员各级别人数条形图绘制&＃xff1a;

可以看出绝大多数会员为4级会员&＃xff0c;仅有少数5级或者6级会员

d、箱型图绘制

由会员年龄分布箱线图可以看出绝大多数年龄位于30~50岁之间
最后一次乘机时间至观测窗口时长越短&＃xff0c;表示客户对航空公司越满意。时间间隔越短同时也表示该客户可能是高价值客户。并且还可以从这个属性中看到公司的发展问题&＃xff0c;如果时间间隔短的客户越来越少&＃xff0c;说明该公司的运营出现了问题&＃xff0c;需要及时调整营销策略。

通过图像可以很清晰的发现&＃xff1a;客户的飞行次数与总飞行里程数明显分为两个群体&＃xff0c;大部分客户集中在箱型图中的箱体中&＃xff0c;少数客户位于箱体上方&＃xff0c;这部分客户很可能就是高价值客户。

h、会员兑换积分次数直方图绘制&＃xff1a;

通过图形可以看出&＃xff1a;绝大多数兑换次数位于0~10次之间&＃xff0c;这表明大部分客户很少进行积分兑换。

i、计算相关矩阵并绘制热力图&＃xff1a;

通过热力图可以看出&＃xff1a;部分属性之间存在强相关性&＃xff0c;比如总飞行公里数与票价收入&＃xff0c;总累计积分&＃xff0c;飞行次数。可以通过这些关联性强的属性进一步对数据进行挖掘分析。

如需要实验代码和数据&＃xff0c;请私信&＃xff0c;无偿提供&＃xff0c;仅供学习交流哦~