机器学习系列(4)_特征工程02特征提取

特征选择–主要分为三个模块&＃xff1a;

1. 特征提取&＃xff08;Features Extraction&＃xff09;&＃xff1a;如从文本型数据提取日期型数据&＃xff1b;从非结构化数据&＃xff08;文本&＃xff0c;视频&＃xff0c;音频等&＃xff09;提取数据。如&＃xff1a;Web爬取等&＃xff1b;
2. 特征创建&＃xff08;Features Creation&＃xff09;&＃xff1a;通过组合&＃xff0c;计算等方法&＃xff0c;得到原本不存在的特征&＃xff08;必须是合理的&＃xff09;&＃xff0c;比如&＃xff1a;使用&＃xff08;数量*单价-折扣&＃xff09;得到销售额字段&＃xff1b;
3. 特征选择&＃xff08;Features Selection&＃xff09;:从所有特征中&＃xff0c;选择对当前模型有价值的特征&＃xff0c;但必须要经过验证。
   特征选择是独立于任何机器学习算法的&＃xff0c;往往是根据各种统计检验的分值以及相关性指标来选择特征。
4. 特征选择与模型应用的基本流程&＃xff1a;
   全部特征有哪些–》通过统计检验获取最佳特征子集&＃xff08;无创造新特征&＃xff09;–》通过算法进行训练–》模型评估–》模型应用

创造新特征&＃xff1a;在数据整理的时候&＃xff0c;

import pandas as pd
data&＃61;pd.read_csv("digit recognizor.csv")# 手写体数字特征提取


X&＃61;data.iloc[:,1:] # 前面的标签不要


y&＃61;data.iloc[:,0]
y.unique() # 想要知道每个数据上有多少数据


# 体现0-9共十个数字每个数字有多少个样本
a&＃61;data.groupby("label").count()


一、Filter过滤法

1、方差过滤

方差过滤&＃xff1a;消除方差为0的数据。

为什么使用方差过滤&＃xff1f;

1. 方差用来衡量随机变量或数据的离散程度&＃xff08;统计&＃xff09;&＃xff0c;或者衡量随机变量与数学期望&＃xff08;如均值&＃xff09;之间的偏离程度。
2. 方差小&＃xff0c;表示样本在特征上基本无差异&＃xff0c;这种情况对于样本区分的价值不高。
3. 消除方差为0的特征是特征工程的重要任务。使用threshold来进行筛选&＃xff0c;默认为0。

在机器学习的数据预处理的过程中常常会是使用到过滤法&＃xff0c;而方差过滤是过滤法之一。所谓的方差过滤就是过滤掉那些特征方差较小的特征。

比如一个特征本身的方差很小&＃xff0c;就表示样本在这个特征上基本没有差异&＃xff0c;可能特征中的大多数值都一样&＃xff0c;甚至整个特征的取值都相同&＃xff0c;那这个特征对于样本区分没有什么作用。

所以可以设置一个过滤的阈值&＃xff0c;过滤掉那些方差小的特征&＃xff0c;从而达到特征筛选的目的。
在 sklearn中可以调用from sklearn.feature_selection import VarianceThreshold 类实现方差过滤。

以手写识别为例子&＃xff1a;

from sklearn.feature_selection import VarianceThreshold
selector&＃61;VarianceThreshold() # 实例化&＃xff0c;默认方差为0
X_var0&＃61;selector.fit_transform(X) # 获取具有特定价值的新特征矩阵
X_var0.shape # 使用方差进行过滤时&＃xff0c;过滤掉了80&＃43;的数据


import numpy as np
np.median(X.var().values)


# 以特征方差中位数为阈值&＃xff0c;考察特征选择结果
X_fsvar&＃61;VarianceThreshold(np.median(X.var().values)).fit_transform(X)


# 若特征是伯努利的随机变量&＃xff0c;假设p&＃61;0.8 &＃xff1a;表示如果某一种分类站到80%以上时&＃xff0c;要删除特征
X_bvar&＃61;VarianceThreshold(.8*(1-0.8)).fit_transform(X)
X_bvar.shape # (42000, 685) 大概消除了100个特征


from sklearn.feature_selection import VarianceThreshold
from sklearn.ensemble import RandomForestClassifier as RFC
from sklearn.neighbors import KNeighborsClassifier as KNN
from sklearn.model_selection import cross_val_score # 交叉验证


利用KNN和随机森林对全部特征&＃xff0c;和以方差中位数为阈值的特征进行比较&＃xff1a;

&＃xff08;1&＃xff09;使用KNN进行考察

过滤&＃xff1a;特征选择。
比较KNN在方差过滤前后的准确度&＃xff1a;

# KNN在方差过滤之前
cross_val_score(KNN(),X,y,cv&＃61;5).mean() # 0.9658%%timeit # 计算运行时间
cross_val_score(KNN(),X,y,cv&＃61;5).mean()


# KNN在方差过滤之后
cross_val_score(KNN(),X_fsvar,y,cv&＃61;5).mean() # 0.966%%timeit # 计算运行时间
cross_val_score(KNN(),X_fsvar,y,cv&＃61;5).mean()


&＃xff08;2&＃xff09;使用随机森林(RFC)进行考察

# 随机森林考察特征选择效果
%%timeit
cross_val_score(RFC(n_estimators&＃61;10,random_state&＃61;0),X,y,cv&＃61;5).mean()%%timeit
cross_val_score(RFC(n_estimators&＃61;10,random_state&＃61;0),X_fsvar,y,cv&＃61;5).mean()


使用方差过滤后的特征对KNN和RFC的影响&＃xff1a;

1. 对两种算法的检测结果&＃xff0c;可看出其模型精度是上升的&＃xff0c;说明方差过滤是有效的&＃xff0c;即将随机模式设置为random——state&＃61;0之后大部分噪声都被过滤掉了。
2. 阈值较小被过滤的特征也会更少&＃xff0c;模型表现不同会受影响&＃xff0c;运行时间总体会少&＃xff0c;但有时不明显。
3. 阈值较大被过滤的特征相对较多&＃xff0c;模型表现可能会更好&＃xff0c;因为噪声在某些算法下可能被过滤了&＃xff0c;但也有可能是相反的&＃xff0c;在运行时间方面肯定会降低。

tempdf&＃61;pd.DataFrame(X,y)
tempdf.reset_index(inplace&＃61;True)
tempdf


自定义函数&＃xff1a;使用自定义函数提炼数据中两个特征之间的相关系数

#参考 自定义函数
import mathdef PearsonFirst(X,Y):&＃39;&＃39;&＃39;公式一&＃39;&＃39;&＃39;XY &＃61; X*YEX &＃61; X.mean()EY &＃61; Y.mean()EX2 &＃61; (X**2).mean()EY2 &＃61; (Y**2).mean()EXY &＃61; XY.mean()numerator &＃61; EXY - EX*EY # 分子denominator &＃61; math.sqrt(EX2-EX**2)*math.sqrt(EY2-EY**2) # 分母if denominator &＃61;&＃61; 0:return &＃39;NaN&＃39;rhoXY &＃61; numerator/denominatorreturn rhoXYdef PearsonSecond(X,Y):&＃39;&＃39;&＃39;公式二&＃39;&＃39;&＃39;XY &＃61; X*YX2 &＃61; X**2Y2 &＃61; Y**2n &＃61; len(XY)numerator &＃61; n*XY.sum() - X.sum()*Y.sum() # 分子denominator &＃61; math.sqrt(n*X2.sum() - X.sum()**2)*math.sqrt(n*Y2.sum() - Y.sum()**2) # 分母if denominator &＃61;&＃61; 0:return &＃39;NaN&＃39;rhoXY &＃61; numerator/denominatorreturn rhoXY


r1&＃61;PearsonFirst(tempdf[&＃39;label&＃39;],tempdfempdf[&＃39;pixel400&＃39;]) # 使用公式一计算X与Y的相关系数
r2&＃61;PearsonFirst(tempdf[&＃39;label&＃39;],tempdfempdf[&＃39;pixel400&＃39;]) # 使用公式二计算X与Y的相关系数
tempdf.corr(method&＃61;"pearson") # 耗时太长&＃xff0c;了解即可


2、相关性过滤

选出与标签相关且有意义的特征。

&＃xff08;1&＃xff09;卡方过滤

1. 专门针对离散型的标签&＃xff08;分类问题&＃xff0c;如0,1,2…&＃xff09;&＃xff0c;使用sklearn.feature_selection.chi2计算每个非负特征&＃xff08;标准化&＃xff0c;归一化过程&＃xff09;和标签之间的卡方统计量。根据统计量进行排名&＃xff0c;并结合sklearn.feature_selection.chi2输入评选标准来选择K个特征。
2. 卡方检测中若检测到某特征中所有值都相同&＃xff0c;会提示使用方差过滤法进行先行处理。
3. 卡方过滤一般使用经过中位数参数方差过滤后的特征数据进行&＃xff0c;但若模型表现下降&＃xff0c;则使用无过滤的原数据。

from sklearn.ensemble import RandomForestClassifier as RFC
from sklearn.model_selection import cross_val_score #交叉验证
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2 #卡方


# 假设需要300个特征
X_fschi &＃61; SelectKBest(chi2, k&＃61;300).fit_transform(X_fsvar, y)
# 从使用中位数方差过滤后的特征中选择
X_fschi.shape


&＃xff08;2&＃xff09; 用随机森林进行比较特征选择

# 用随机森林进行比较特征选择
cross_val_score(RFC(n_estimators&＃61;20,random_state&＃61;0),X_fschi,y,cv&＃61;10).mean()


计算时间&＃xff1a;

&＃xff08;3&＃xff09;选取超参数

k到底选择多大最合适&＃xff1f;利用算法&＃43;学习曲线进行判断

# 选取超参数
%matplotlib inline
import matplotlib.pylab as plt
score&＃61;[]
for i in range(390,200,-10):X_fschi&＃61;SelectKBest(chi2,k&＃61;i).fit_transform(X_fsvar,y)once&＃61;cross_val_score(RFC(n_estimators&＃61;10,random_state&＃61;0),X_fschi,y,cv&＃61;5).mean()score.append(once)
plt.plot(range(390,200,-10),score)
plt.show()


如下图&＃xff0c;最高大约在94%&＃xff0c;因此K值大约选在380位置处。

对应score如下&＃xff1a;

从特征工程的角度&＃xff0c;选取卡方值较大&＃xff0c;P值小于0.05的特征 ,即与标签有较大相关性。返回k值进行检验

chivalue,pyvalues_chi&＃61;chi2(X_fsvar,y) # 输入特征矩阵与标签
k&＃61;chivalue.shape[0]-(pyvalues_chi>0.05).sum() # 去除与标签无关的相关值
X_fschi&＃61;SelectKBest(chi2,k&＃61;k).fit_transform(X_fsvar,y)
cross_val_score(RFC(n_estimators&＃61;10,random_state&＃61;0),X_fschi,y,cv&＃61;5).mean
# n_estimators&＃61;10 选取10颗树&＃xff0c;使用RFC来进行交叉验证


k&＃61;chivalue.shape[0]-(pvalues_chi>0.05).sum() # 去除与标签无关的相关值
# 大于0.05表示与标签无关


求出K值&＃xff0c;就可以用在下面的代码中&＃xff1a;

X_fschi&＃61;SelectKBest(chi2,k&＃61;k).fit_transform(X_fsvar,y)
cross_val_score(RFC(n_estimators&＃61;10,random_state&＃61;0),X_fschi,y,cv&＃61;5).mean()


如果使用全特征呢&＃xff1f;

# 如果使用全特征呢&＃xff1f;
chivalue,pvalues_chi&＃61;chi2(X,y) # 输入特征矩阵和标签
k&＃61;chivalue.shape[0]-(pvalues_chi>0.05).sum() # 去除与标签无关的相关值
k


可以看到全特征计算出的K值更多&＃xff1a;↑

但是准确度小于中位数特征值处理后的准确度&＃xff1a;↑

总结卡方检验的作用&＃xff1a;

推测两组数据之间的差异&＃xff0c;原假设是&＃xff1a;两组数据之间是相互独立的。返回卡方值和P值这两个统计量。

从特征工程的角度&＃xff0c;选取卡方值较大&＃xff0c;P值小于0.05的特征&＃xff0c;即与标签有较大相关性。返回K值进行检验。

调用SelectKBest之前&＃xff0c;直接从chi2实例化后的模型中获得各个特征所对应的卡方值和P值。

&＃xff08;4&＃xff09;F检验

1. F检验是用来捕捉每个特征与标签之间的线性关系的过滤方法。
2. 可回归&＃xff0c;可分类&＃xff0c;故包含&＃xff08;离散型变量feature_selection.f_classif&＃xff09;和&＃xff08;连续型变量feature_selection.f_regression&＃xff09;两类。
3. 需要与SelectKBest联合使用&＃xff0c;即也需要有超参数
4. 在正态分布情况下效果稳定
5. 原假设&＃xff1a;数据之间不存在显著的线性关系。返回F和P值。小于0。05或者0.01代表显著性相关

from sklearn.feature_selection import f_classif
F,pvalues_f&＃61;f_classif(X_fsvar,y)
F


P值当中存在大量的0&＃xff1a;↓

接着求出K值后&＃xff0c;代入随机森林当中做计算&＃xff1a;

X_fsF&＃61;SelectKBest(f_classif,k&＃61;k).fit_transform(X_fsvar,y)
cross_val_score(RFC(n_estimators&＃61;10,random_state&＃61;0),X_fschi,y,cv&＃61;5).mean()


&＃xff08;5&＃xff09;互信息法

1. 两个随机变量的互信息&＃xff08;mutual information&＃xff09;是变量之间相互依赖性的量度
2. 互信息度量是两个随机变量共享的信息——知道随机变量x,对随机变量Y的不确定性减少的程度&＃xff08;或者知道随机变量Y&＃xff0c;对随机变量X的不确定性减少的程度&＃xff09;&＃xff0c;用I&＃xff08;X&＃xff1a;Y&＃xff09;表示
3. 特征与标签之间可能存在任意关系&＃xff08;线性和非线性&＃xff09;
4. 可回归&＃xff0c;可分类&＃xff0c;feature_selection.mutual_info_classif&＃xff08;互信息分类&＃xff09;和feature_selection.mutual_info_regression&＃xff08;互信息回归&＃xff09;
5. 不返回P或者F&＃xff0c;返回的是每个特征与目标特征之间互信息量的估计值&＃xff0c;【0,1】之间取值

#X_fsvar 利用中位数取的特征&＃xff0c;使用的是互信息法的方式
from sklearn.feature_selection import mutual_info_classif as MIC
result &＃61; MIC(X_fsvar,y)
result


k &＃61; result.shape[0] - sum(result <&＃61; 0)
k


根据算出的K值&＃xff0c;计算交叉验证得到的准确度&＃xff1a;

X_fsmic &＃61; SelectKBest(MIC, k&＃61;k).fit_transform(X_fsvar, y)
cross_val_score(RFC(n_estimators&＃61;10,random_state&＃61;0),X_fsmic,y,cv&＃61;5).mean()


二、Embedded嵌入法

1. 嵌入法是一种让算法自己决定使用哪些特征的方法&＃xff0c;即特征选择和算法训练同时进行。
2. 先使用某些机器学习的算法和模型进行训练
3. 得到各个特征的权值系数&＃xff0c;根据权值系数从大到小选择特征
4. 有别于过滤法的 “ 手工 ” 操作方式&＃xff1a;过滤法使用统计量&＃xff08;如P值&＃xff09;&＃xff0c;但嵌入法的权值系数没有参考临界值
5. 应用feature_selection.SelectFromModel元变换器。可以与任何在拟合之后有coef_&＃xff08;回归系数&＃xff09;&＃xff0c;feature_importances_属性或参数中可选惩罚项的评估器一起使用&＃xff0c;如随机森林和树模型

from sklearn.feature_selection import SelectFromModel
from sklearn.ensemble import RandomForestClassifier as RFC
RFC_ &＃61; RFC(n_estimators &＃61;10,random_state&＃61;0)
X_embedded &＃61; SelectFromModel(RFC_,threshold&＃61;0.005).fit_transform(X,y)
X_embedded.shape


# 模型的维度有没有降低&＃xff1f;
#学习曲线来找最佳阈值import numpy as np
import matplotlib.pyplot as pltRFC_.fit(X,y).feature_importances_
threshold &＃61; np.linspace(0,(RFC_.fit(X,y).feature_importances_).max(),20)
score &＃61; []
for i in threshold:X_embedded &＃61; SelectFromModel(RFC_,threshold&＃61;i).fit_transform(X,y)once &＃61; cross_val_score(RFC_,X_embedded,y,cv&＃61;5).mean()score.append(once)
plt.plot(threshold,score)
plt.show()


将最高部分的学习曲线进行放大&＃xff1a;

score2 &＃61; []
for i in np.linspace(0,0.004,20):X_embedded &＃61; SelectFromModel(RFC_,threshold&＃61;i).fit_transform(X,y)once &＃61; cross_val_score(RFC_,X_embedded,y,cv&＃61;5).mean()score2.append(once)
plt.figure(figsize&＃61;[20,5])
plt.plot(np.linspace(0,0.004,20),score2)
plt.xticks(np.linspace(0,0.004,20))
plt.show()


三、Wrapper包装法

1. 特征选择与算法&＃xff08;并非随机森林等&＃xff09;训练同时进行&＃xff0c;类似嵌入法
2. 不同&＃xff1a;使用目标函数作为黑盒帮助选取特征&＃xff0c;而非自己输入某个评估指标或者统计量的阈值
3. 从coef_或者feature_importances_属性获取每个特征的重要性
4. 修建当前特征组中最不重要的特征&＃xff0c;在修建的集合上递归重复该过程&＃xff0c;直到最终达到所需数量的特征
5. 要使用特征子集进行多次训练&＃xff0c;计算成本较高&＃xff0c;但其所选的特征是最有利于提升模型表现的

# 使用包装法
from sklearn.feature_selection import RFE
RFC_ &＃61; RFC(n_estimators &＃61;10,random_state&＃61;0)
selector &＃61; RFE(RFC_,n_features_to_select&＃61;340,step&＃61;50).fit(X,y)
selector.support_.sum()


selector.ranking_


X_wrapper&＃61;selector.transform(X)
cross_val_score(RFC_,X_wrapper,y,cv&＃61;5).mean()
# 使用sklearn的cross_val_score进行交叉验证


#调参 100
from sklearn.feature_selection import RFE
RFC_ &＃61; RFC(n_estimators &＃61;100,random_state&＃61;0)
selector &＃61; RFE(RFC_, n_features_to_select&＃61;340, step&＃61;50).fit(X, y) # 特征选择340个&＃xff0c;每个步骤做50个参数的调整
selector.support_.sum()
selector.ranking_
X_wrapper &＃61; selector.transform(X) # 通过包装法得到最优结果
cross_val_score(RFC_,X_wrapper,y,cv&＃61;5).mean() # 使用交叉验证计算准确性