为什么要进行数据归一化

点击上方“小白学视觉”&＃xff0c;选择加"星标"或“置顶”

重磅干货&＃xff0c;第一时间送达

原文&＃xff1a;https://medium.com/&＃64;urvashilluniya/why-data-normalization-is-necessary-for-machine-learning-models-681b65a05029

数据归一化常用于机器学习的预处理阶段&＃xff0c;当数据集的特征间具有不同的值范围时&＃xff0c;数据归一化是非常有必要的&＃xff0c;数据归一化的目的是使特征具有相同的度量尺度。

比如数据集包含了两个特征&＃xff0c;年龄&＃xff08;x1&＃xff09;和收入&＃xff08;x2&＃xff09;。年龄范围为0~100岁之间&＃xff0c;收入范围为0~20000及以上&＃xff0c;收入大约是年龄的1000倍。因此收入和年龄具有不同的范围&＃xff0c;当对该数据构建多元线性回归模型时&＃xff0c;收入对结果影响远远大于年龄的值&＃xff0c;但是这和实际情况是不相符的&＃xff0c;因为忽视了年龄对结果的影响。

为了进一步解释&＃xff0c;我们构造两个神经网络模型&＃xff1a;一个不使用归一化数据&＃xff0c;另一个使用归一化数据&＃xff0c;比较这两个模型的结果&＃xff0c;并将展示归一化对模型准确性的影响。

原始数据集的前几行&＃xff1a;

使用非归一化的原始数据集构建神经网络模型&＃xff1a;

&＃39;&＃39;&＃39;Using covertype dataset from kaggle to predict forest cover type&＃39;&＃39;&＃39;
#Import pandas, tensorflow and keras
import pandas as pd
from sklearn.cross_validation import train_test_split
import tensorflow as tf
from tensorflow.python.data import Dataset
import keras
from keras.utils import to_categorical
from keras import models
from keras import layers
#Read the data from csv file
df &＃61; pd.read_csv(&＃39;covtype.csv&＃39;)
#Select predictors
x &＃61; df[df.columns[:54]]
#Target variable
y &＃61; df.Cover_Type
#Split data into train and test
x_train, x_test, y_train, y_test &＃61; train_test_split(x, y , train_size &＃61; 0.7, random_state &＃61; 90)
&＃39;&＃39;&＃39;As y variable is multi class categorical variable, hence using softmax as activation function and sparse-categorical cross entropy as loss function.&＃39;&＃39;&＃39;
model &＃61; keras.Sequential([keras.layers.Dense(64, activation&＃61;tf.nn.relu,input_shape&＃61;(x_train.shape[1],)),keras.layers.Dense(64, activation&＃61;tf.nn.relu),keras.layers.Dense(8, activation&＃61; &＃39;softmax&＃39;)])model.compile(optimizer&＃61;tf.train.AdamOptimizer(),loss&＃61;&＃39;sparse_categorical_crossentropy&＃39;,metrics&＃61;[&＃39;accuracy&＃39;])
history1 &＃61; model.fit(x_train, y_train,epochs&＃61; 26, batch_size &＃61; 60,validation_data &＃61; (x_test, y_test))

输出结果为&＃xff1a;

Output:
Epoch 1/26 406708/406708 [&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;]
- 19s 47us/step - loss: 8.2614 - acc: 0.4874 - val_loss: 8.2531 - val_acc: 0.4880
Epoch 2/26 406708/406708 [&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;]
- 18s 45us/step - loss: 8.2614 - acc: 0.4874 - val_loss: 8.2531 - val_acc: 0.4880
...............
Epoch 26/26 406708/406708 [&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;]
- 17s 42us/step - loss: 8.2614 - acc: 0.4874 - val_loss: 8.2531 - val_acc: 0.4880

模型的验证准确率仅仅为48.0%。

我们通过归一化数据集构建神经网络模型&＃xff0c;通过对数据集去均值化以及将它缩放到单位方差来实现归一化。

数据集归一化代码&＃xff1a;

from sklearn import preprocessingdf &＃61; pd.read_csv(&＃39;covtype.csv&＃39;)
x &＃61; df[df.columns[:55]]
y &＃61; df.Cover_Typex_train, x_test, y_train, y_test &＃61; train_test_split(x, y , train_size &＃61; 0.7, random_state &＃61; 90)#Select numerical columns which needs to be normalized
train_norm &＃61; x_train[x_train.columns[0:10]]
test_norm &＃61; x_test[x_test.columns[0:10]]# Normalize Training Data
std_scale &＃61; preprocessing.StandardScaler().fit(train_norm)
x_train_norm &＃61; std_scale.transform(train_norm)#Converting numpy array to dataframe
training_norm_col &＃61; pd.DataFrame(x_train_norm, index&＃61;train_norm.index, columns&＃61;train_norm.columns)
x_train.update(training_norm_col)
print (x_train.head())# Normalize Testing Data by using mean and SD of training set
x_test_norm &＃61; std_scale.transform(test_norm)
testing_norm_col &＃61; pd.DataFrame(x_test_norm, index&＃61;test_norm.index, columns&＃61;test_norm.columns)
x_test.update(testing_norm_col)
print (x_train.head())

归一化数据集的前5行数据&＃xff1a;

使用归一化数据集构建神经网络模型&＃xff1a;

#Build neural network model with normalized data
model &＃61; keras.Sequential([keras.layers.Dense(64, activation&＃61;tf.nn.relu,input_shape&＃61;(x_train.shape[1],)),keras.layers.Dense(64, activation&＃61;tf.nn.relu),keras.layers.Dense(8, activation&＃61; &＃39;softmax&＃39;)])model.compile(optimizer&＃61;tf.train.AdamOptimizer(),loss&＃61;&＃39;sparse_categorical_crossentropy&＃39;,metrics&＃61;[&＃39;accuracy&＃39;])
history2 &＃61; model.fit(x_train, y_train,epochs&＃61; 26, batch_size &＃61; 60,

输出结果为&＃xff1a;

#Output:
Train on 464809 samples, validate on 116203 samples
Epoch 1/26 464809/464809 [&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;]
- 16s 34us/step - loss: 0.5433 - acc: 0.7675 - val_loss: 0.4701 - val_acc: 0.8022
Epoch 2/26 464809/464809 [&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;]
- 16s 34us/step - loss: 0.4436 - acc: 0.8113 - val_loss: 0.4410 - val_acc: 0.8124 Epoch 3/26
....................
Epoch 26/26 464809/464809 [&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;]
- 16s 34us/step - loss: 0.2703 - acc: 0.8907 - val_loss: 0.2773 - val_acc: 0.8893

模型验证集的准确率达到了88.9%&＃xff0c;远比非归一化数据集构建的模型要好。

用图比较两个模型&＃xff1a;

结果&＃xff1a;由上面图标可知&＃xff0c;模型1&＃xff08;左1&＃xff09;由很低的验证准确率&＃xff08;48%&＃xff09;&＃xff0c;当迭代次数增加时&＃xff0c;模型的训练准确率和验证准确率均没有提高&＃xff0c;模型2&＃xff08;右1&＃xff09;的训练准确率和验证准确率随着迭代次数的增加均有一定程度的提高。

原因分析&＃xff1a;若特征间具有不同的值范围时&＃xff0c;因此梯度更新时&＃xff0c;会来回震荡&＃xff0c;经过较长的时间才能达到局部最优值或全局最优值。为了解决该模型问题&＃xff0c;我们需要归一化数据&＃xff0c;我们确保不同的特征具有相同的值范围&＃xff0c;这样梯度下降可以很快的收敛。从右1的图表可知&＃xff0c;准确率随着迭代次数的增加而提高&＃xff0c;当迭代次数为26时&＃xff0c;准确率达到了88.93%。

下载1&＃xff1a;OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复&＃xff1a;扩展模块中文教程&＃xff0c;即可下载全网第一份OpenCV扩展模块教程中文版&＃xff0c;涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2&＃xff1a;Python&＃43;OpenCV视觉实战项目52讲

在「小白学视觉」公众号后台回复&＃xff1a;Python视觉实战项目&＃xff0c;即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目&＃xff0c;助力快速学校计算机视觉。

下载3&＃xff1a;Pytorch常用函数手册

在「小白学视觉」公众号后台回复&＃xff1a;pytorch常用函数手册&＃xff0c;即可下载含有200余个Pytorch常用函数的使用方式&＃xff0c;帮助快速入门深度学习。

交流群

欢迎加入公众号读者群一起和同行交流&＃xff0c;目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群&＃xff08;以后会逐渐细分&＃xff09;&＃xff0c;请扫描下面微信号加群&＃xff0c;备注&＃xff1a;”昵称&＃43;学校/公司&＃43;研究方向“&＃xff0c;例如&＃xff1a;”张三 &＃43; 上海交大 &＃43; 视觉SLAM“。请按照格式备注&＃xff0c;否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告&＃xff0c;否则会请出群&＃xff0c;谢谢理解~