Python数据挖掘—电力窃漏电用户自动识别

实验有两个部分&＃xff1a;

1&＃xff0e;    利用拉格朗日差值法进行缺失值的补充

2&＃xff0e;    构建分类模型对窃电用户进行识别

(一)     用户的用电数据存在缺失值&＃xff0c;数据见“test/data/missing_data.xls”,利用拉格朗日插值法补全数据。

(二)     对所有窃电用户及正常的用电的电量&＃xff0c;警告及线损数据和该用户在当天是否窃电漏电的标识&＃xff0c;按窃电漏电评价标准进行处理样本数据&＃xff0c;得到专家样本&＃xff0c;数据见“test/data/model.xls”,分别使用LM神经网络和CART决策树实现分类预测模型&＃xff0c;利用混淆矩阵和ROC曲线对模型进行评价。

&＃xff08;数据80%作为训练样本&＃xff0c;剩下的20%作为测试样本&＃xff09;

1、    实验方法与步骤

实验一&＃xff1a;利用拉格朗日差值法进行缺失值的补充

(一)     打开PyCharm软件&＃xff0c;把“test/data/missing_data.xls”放入当前工作目录。

(二)     使用Pandas把数据读入当前工作目录。

(三)     针对读入的数据的每一列&＃xff0c;进行编程&＃xff08;拉格朗日算法&＃xff09;。

3&＃xff0e;    实验二&＃xff1a;构建分类模型对窃电用户进行识别

(一)     把经过预处理的专家样本数据“test/data/model.xls”数据放入当前工作目录&＃xff0c;并使用Pandas读入当前工作空间。

(二)     把工作区间的建模数据随机分为两部分&＃xff0c;一部分用于训练&＃xff0c;一部分用于测试。

(三)     使用Scikit-Lrean库的sklearn.tree的DecisionTreeClassifier函数以及训练数据构建CART决策树模型&＃xff0c;使用predict函数和构建的CART决策树模型分别对训练和测试数据进行分类&＃xff0c;并与真实值比较&＃xff0c;得到模型正确率&＃xff0c;同时使用sklearn.metrics的confusion_maritx和roc_curve函数画混淆矩阵和ROC曲线图。

(四)     使用Keras库以及训练数据模型构建LM神经网络模型&＃xff0c;使用predict函数和构建的神经网络模型分别对训练和测试数据进行分类&＃xff0c;得到模型正确率&＃xff0c;混淆矩阵和ROC曲线图。

(五)     对比分析CART决策树模型和LM神经网络模型针对专家样本数据处理结果的好坏。

1、    程序代码及运行结果

第一部分&＃xff1a;利用拉格朗日差值法进行缺失值的补充

&＃xff08;1&＃xff09;&＃xff1a;利用Python对拉格朗日差值法进行应用

首先将缺失值数据导入&＃xff1a;

#拉格朗日插值代码
import pandas as pd #导入数据分析库Pandas
from scipy.interpolate import lagrange #导入拉格朗日插值函数

inputfile &＃61; &＃39;../data/missing_data.xls&＃39; #输入数据路径,需要使用Excel格式&＃xff1b;

缺失数据如下

   针对读入数据的每一列&＃xff0c;进行拉格朗日差值算法进行编程。

#-*- coding: utf-8 -*-
#拉格朗日插值代码
import pandas as pd #导入数据分析库Pandas
from scipy.interpolate import lagrange #导入拉格朗日插值函数inputfile &＃61; &＃39;../data/missing_data.xls&＃39; #输入数据路径,需要使用Excel格式&＃xff1b;
outputfile &＃61; &＃39;../tmp/missing_data_processed.xls&＃39; #输出数据路径,需要使用Excel格式data &＃61; pd.read_excel(inputfile, header&＃61;None) #读入数据#自定义列向量插值函数
#s为列向量&＃xff0c;n为被插值的位置&＃xff0c;k为取前后的数据个数&＃xff0c;默认为5
def ployinterp_column(s, n, k&＃61;5):y &＃61; s[list(range(n-k, n)) &＃43; list(range(n&＃43;1, n&＃43;1&＃43;k))] #取数
y &＃61; y[y.notnull()] #剔除空值
return lagrange(y.index, list(y))(n) #插值并返回插值结果#逐个元素判断是否需要插值
for i in data.columns:
for j in range(len(data)):
if (data[i].isnull())[j]: #如果为空即插值。
data[i][j] &＃61; ployinterp_column(data[i], j)data.to_excel(outputfile, header&＃61;None, index&＃61;False) #输出结果

导出数据如下&＃xff1a;

第二部分&＃xff1a;构建分类模型对窃电用户进行识别

&＃xff08;1&＃xff09;&＃xff1a;数据划分

   对专家样本随机选取20%作为测试样本&＃xff0c;剩下的80%作为训练样本

代码如下

import pandas as pd #导入数据分析库
from random import shuffle #导入随机函数shuffle&＃xff0c;用来打算数据

datafile &＃61; &＃39;../data/model.xls&＃39; #数据名
treefile &＃61; &＃39;../tmp/tree.pkl&＃39; #模型输出名字
data &＃61;pd.read_excel(datafile) #读取数据&＃xff0c;数据的前三列是特征&＃xff0c;第四列是标签
data &＃61; data.as_matrix()#将表格转换为矩阵
shuffle(data) #随机打乱数据

p &＃61; 0.8 #设置训练数据比例
train &＃61; data[:int(len(data)*p), :] #前80%为训练集
test &＃61; data[int(len(data)*p):, :] #后20%为测试集

&＃xff08;2&＃xff09;&＃xff1a;Python导入CART决策树模型算法

from sklearn.tree import DecisionTreeClassifier #导入决策树模型

&＃xff08;3&＃xff09;&＃xff1a;Python导入混淆矩阵
fromsklearn.metricsimport confusion_matrix #导入混淆矩阵函数

&＃xff08;4&＃xff09;&＃xff1a;Python导入ROC曲线函数
from sklearn.metrics import roc_curve #导入ROC曲线函数

&＃xff08;5&＃xff09;&＃xff1a;Python实现dt_model

构建CART决策树模型及ROC曲线函数及混淆矩阵的完整代码如下&＃xff1a;

#-*-coding: utf-8 -*-
#构建并测试CART决策树模型

import pandas as pd #导入数据分析库
from random import shuffle #导入随机函数shuffle&＃xff0c;用来打算数据

datafile &＃61; &＃39;../data/model.xls&＃39; #数据名
treefile &＃61; &＃39;../tmp/tree.pkl&＃39; #模型输出名字
data &＃61;pd.read_excel(datafile) #读取数据&＃xff0c;数据的前三列是特征&＃xff0c;第四列是标签
data &＃61;data.as_matrix() #将表格转换为矩阵
shuffle(data) #随机打乱数据

p &＃61; 0.8 #设置训练数据比例
train &＃61; data[:int(len(data)*p), :] #前80%为训练集
test &＃61; data[int(len(data)*p):, :] #后20%为测试集

from sklearn.tree import DecisionTreeClassifier #导入决策树模型
from sklearn.metrics import confusion_matrix #导入混淆矩阵函数

tree &＃61;DecisionTreeClassifier() #建立决策树模型
tree.fit(train[:,:3],train[:, 3]) #训练
#保存模型
from sklearn.externals import joblib
joblib.dump(tree, treefile)

cm &＃61; confusion_matrix(train[:, 3], tree.predict(train[:, :3])) #混淆矩阵

import matplotlib.pyplot as plt #导入作图库
plt.matshow(cm, cmap&＃61;plt.cm.Greens) #画混淆矩阵图&＃xff0c;配色风格使用cm.Greens&＃xff0c;更多风格请参考官网。
plt.colorbar() #颜色标签

for x in range(len(cm)): #数据标签
for y in range(len(cm)):
    plt.annotate(cm[x, y], xy&＃61;(x, y), horizontalalignment&＃61;&＃39;center&＃39;, verticalalignment&＃61;&＃39;center&＃39;)

plt.ylabel(&＃39;Truelabel&＃39;) #坐标轴标签
plt.xlabel(&＃39;Predicted label&＃39;) #坐标轴标签
plt.show() #显示作图结果

from sklearn.metrics import roc_curve #导入ROC曲线函数

fpr, tpr,thresholds &＃61; roc_curve(test[:, 3], tree.predict_proba(test[:, :3])[:, 1], pos_label&＃61;1)
plt.plot(fpr, tpr, linewidth&＃61;2, label &＃61; &＃39;ROC of CART&＃39;, color &＃61; &＃39;green&＃39;) #作出ROC曲线
plt.xlabel(&＃39;False Positive Rate&＃39;) #坐标轴标签
plt.ylabel(&＃39;True Positive Rate&＃39;) #坐标轴标签
plt.ylim(0, 1.05) #边界范围
plt.xlim(0, 1.05) #边界范围
plt.legend(loc&＃61;4) #图例
plt.show() #显示作图结果

dt_model.py代码的执行结果为&＃xff1a;

混淆矩阵如下&＃xff1a;

ROC of CART图如下&＃xff1a;

&＃xff08;6&＃xff09;&＃xff1a;Python实现LM神经网络模型

库的导入&＃xff1a;

from keras.models import Sequential #导入神经网络初始化函数
from keras.layers.core import Dense, Activation #导入神经网络层函数、激活函数

设置数据划分

import pandas as pd
from random import shuffledatafile &＃61; &＃39;../data/model.xls&＃39;
data &＃61; pd.read_excel(datafile)
data &＃61; data.as_matrix()
shuffle(data)p &＃61; 0.8  #设置训练数据比例
train &＃61; data[:int(len(data)*p), :]
test &＃61; data[int(len(data)*p):, :]

其他与构建CART模型相似&＃xff0c;现给出最终代码&＃xff0c;如下&＃xff1a;

#-*-coding: utf-8 -*-
import os
import pandas as pd
from random import shuffle

datafile &＃61; &＃39;../data/model.xls&＃39;
data &＃61; pd.read_excel(datafile)
data &＃61; data.as_matrix()
shuffle(data)

p &＃61; 0.8  #设置训练数据比例
train &＃61; data[:int(len(data)*p), :]
test &＃61; data[int(len(data)*p):, :]

from keras.models import Sequential #导入神经网络初始化函数
from keras.layers.core import Dense, Activation #导入神经网络层函数、激活函数

netfile &＃61; &＃39;../tmp/net.model&＃39; #构建的神经网络模型存储路径

net &＃61; Sequential()#建立神经网络
net.add(Dense(input_dim &＃61; 3, units &＃61; 10)) #添加输入层&＃xff08;3节点&＃xff09;到隐藏层&＃xff08;10节点&＃xff09;的连接
net.add(Activation(&＃39;relu&＃39;)) #隐藏层使用relu激活函数
net.add(Dense(input_dim &＃61; 10, units &＃61; 1)) #添加隐藏层&＃xff08;10节点&＃xff09;到输出层&＃xff08;1节点&＃xff09;的连接
net.add(Activation(&＃39;sigmoid&＃39;)) #输出层使用sigmoid激活函数
net.compile(loss &＃61; &＃39;binary_crossentropy&＃39;, optimizer &＃61; &＃39;adam&＃39;, metrics&＃61;[&＃39;accuracy&＃39;]) #编译模型&＃xff0c;使用adam方法求解

net.fit(train[:, :3], train[:, 3], epochs&＃61;1000, batch_size&＃61;1) #训练模型&＃xff0c;循环1000次
net.save_weights(netfile)#保存模型

from sklearn.metrics import confusion_matrix #导入混淆矩阵函数

predict_result &＃61;net.predict_classes(train[:, :3]).reshape(len(train)) #预测结果变形
&＃39;&＃39;&＃39;这里要提醒的是&＃xff0c;keras用predict给出预测概率&＃xff0c;predict_classes才是给出预测类别&＃xff0c;而且两者的预测结果都是n x 1维数组&＃xff0c;而不是通常的 1 x n&＃39;&＃39;&＃39;

cm &＃61;confusion_matrix(train[:, 3], predict_result) #混淆矩阵

import matplotlib.pyplot as plt #导入作图库
plt.matshow(cm, cmap&＃61;plt.cm.Greens) #画混淆矩阵图&＃xff0c;配色风格使用cm.Greens
plt.colorbar() #颜色标签

for x in range(len(cm)): #数据标签
for y in range(len(cm)):
    plt.annotate(cm[x, y], xy&＃61;(x, y), horizontalalignment&＃61;&＃39;center&＃39;, verticalalignment&＃61;&＃39;center&＃39;)

plt.ylabel(&＃39;Truelabel&＃39;) #坐标轴标签
plt.xlabel(&＃39;Predicted label&＃39;) #坐标轴标签
plt.show() #显示作图结果

from sklearn.metrics import roc_curve #导入ROC曲线函数

predict_result &＃61;net.predict(test[:, :3]).reshape(len(test))
fpr, tpr, thresholds &＃61; roc_curve(test[:, 3], predict_result, pos_label&＃61;1)
plt.plot(fpr, tpr, linewidth&＃61;2, label &＃61; &＃39;ROC of LM&＃39;) #作出ROC曲线
plt.xlabel(&＃39;False Positive Rate&＃39;) #坐标轴标签
plt.ylabel(&＃39;True Positive Rate&＃39;) #坐标轴标签
plt.ylim(0, 1.05) #边界范围
plt.xlim(0, 1.05) #边界范围
plt.legend(loc&＃61;4) #图例
plt.show() #显示作图结果

lm_model.py代码执行结果如下&＃xff1a;

程序执行过程较长&＃xff1a;

混淆矩阵为&＃xff1a;

ROC of LM 图如下&＃xff1a;

&＃xff08;7&＃xff09;&＃xff1a;Python实现LM神经网络模型和CART决策树模型

代码和以上相似&＃xff1a;

Mix-lm-dt_model.py完整代码如下

#-*-coding: utf-8 -*-
import os
import pandas as pd
from random import shuffle

datafile &＃61; &＃39;../data/model.xls&＃39;
data &＃61;pd.read_excel(datafile)
data &＃61; data.as_matrix()
shuffle(data)

p &＃61; 0.8  #设置训练数据比例
train &＃61; data[:int(len(data)*p), :]
test &＃61; data[int(len(data)*p):, :]

###构建神经网络分类模型
from keras.models import Sequential #导入神经网络初始化函数
from keras.layers.core import Dense, Activation #导入神经网络层函数、激活函数

netfile &＃61; &＃39;../tmp/net.model&＃39; #构建的神经网络模型存储路径

net &＃61; Sequential()#建立神经网络
net.add(Dense(input_dim &＃61; 3, units &＃61; 10)) #添加输入层&＃xff08;3节点&＃xff09;到隐藏层&＃xff08;10节点&＃xff09;的连接
net.add(Activation(&＃39;relu&＃39;)) #隐藏层使用relu激活函数
net.add(Dense(input_dim &＃61; 10, units &＃61; 1)) #添加隐藏层&＃xff08;10节点&＃xff09;到输出层&＃xff08;1节点&＃xff09;的连接
net.add(Activation(&＃39;sigmoid&＃39;)) #输出层使用sigmoid激活函数
net.compile(loss &＃61; &＃39;binary_crossentropy&＃39;, optimizer &＃61; &＃39;adam&＃39;, metrics&＃61;[&＃39;accuracy&＃39;]) #编译模型&＃xff0c;使用adam方法求解

net.fit(train[:, :3], train[:, 3], epochs&＃61;10, batch_size&＃61;1) #训练模型&＃xff0c;循环1000次
net.save_weights(netfile)#保存模型

#绘制混淆矩阵
from cm_plot import * #导入自行编写的混淆矩阵可视化函数
from sklearn.tree import DecisionTreeClassifier #导入决策树模型
from sklearn.metrics import confusion_matrix #导入混淆矩阵函数

predict_result &＃61; net.predict_classes(train[:,:3]).reshape(len(train)) #预测结果变形
cm &＃61;confusion_matrix(train[:, 3], predict_result) #混淆矩阵
import matplotlib.pyplot as plt #导入作图库
plt.matshow(cm, cmap&＃61;plt.cm.Greens) #画混淆矩阵图&＃xff0c;配色风格使用cm.Greens
plt.colorbar() #颜色标签

for x in range(len(cm)): #数据标签
for y in range(len(cm)):
    plt.annotate(cm[x, y], xy&＃61;(x, y), horizontalalignment&＃61;&＃39;center&＃39;, verticalalignment&＃61;&＃39;center&＃39;)

plt.ylabel(&＃39;Truelabel&＃39;) #坐标轴标签
plt.xlabel(&＃39;Predicted label&＃39;) #坐标轴标签
plt.show() #显示作图结果

treefile &＃61; &＃39;../tmp/tree.pkl&＃39; #模型输出名字
tree &＃61;DecisionTreeClassifier() #建立决策树模型
tree.fit(train[:,:3],train[:, 3]) #训练
#保存模型
from sklearn.externals import joblib
joblib.dump(tree, treefile)

from sklearn.metrics import roc_curve #导入ROC曲线函数
import matplotlib.pyplot as plt
fpr1, tpr1, thresholds1 &＃61; roc_curve(test[:, 3], net.predict(test[:, :3]).reshape(len(test)), pos_label&＃61;1)
fpr2, tpr2, thresholds2 &＃61; roc_curve(test[:, 3], tree.predict_proba(test[:, :3])[:, 1], pos_label&＃61;1)
plt.plot(fpr1, tpr1, linewidth&＃61;2, label &＃61; &＃39;ROC of LM&＃39;, color &＃61; &＃39;blue&＃39;) #作出ROC曲线
plt.plot(fpr2,tpr2, linewidth&＃61;2, label &＃61; &＃39;ROC of CART&＃39;, color &＃61; &＃39;green&＃39;)
plt.xlabel(&＃39;FalsePositive Rate&＃39;) #坐标轴标签
plt.ylabel(&＃39;True Positive Rate&＃39;) #坐标轴标签
plt.ylim(0, 1.05) #边界范围
plt.xlim(0, 1.05) #边界范围
plt.legend(loc&＃61;4) #图例
plt.show() #显示作图结果

Mix-lm-dt_model.py代码执行结果如下&＃xff1a;

混淆矩阵如下&＃xff1a;

LM神经网络模型和CART决策树模型的混合模型图如下&＃xff1a;

完整包结构如下&＃xff1a;