机器学习入门实践——线性回归&非线性回归&mnist手写体识别

把一本《白话深度学习与tensorflow》给啃完了，了解了一下基本的BP网络，CNN，RNN这些。感觉实际上算法本身不是特别的深奥难懂，最简单的BP网络基本上学完微积分和概率论就能搞懂，CNN引入的卷积，池化等也是数字图像处理中比较成熟的理论，RNN使用的数学工具相对而言比较高深一些，需要再深入消化消化，最近也在啃白皮书，争取从数学上把这些理论吃透

当然光学理论不太行，还是得要有一些实践的，下面是三个入门级别的，可以用来辅助对BP网络的理解

环境：win10 WSL ubuntu 18.04

1.线性回归

入门：tensorflow线性回归

https://zhuanlan.zhihu.com/p/37368943

代码：

from?__future__?import??print_function
import?tensorflow?as?tf
import?numpy
import?matplotlib.pyplot?as?plt
rng?=?numpy.random
#?Parameters
learning_rate?=?0.01
training_epochs?=?1000
display_step?=?50
save_step?=?500
#?Training?Data
train_X?=?numpy.asarray([3.3,?4.4,?5.5,?6.71,?6.93,?4.168,?9.779,?6.182,?7.59,?2.167,
?????????????????????????7.042,?10.791,?5.313,?7.997,?5.654,?9.27,?3.1])
train_Y?=?numpy.asarray([3,?4.7,?5,?7.21,?6.93,?4.168,?9.779,?6.182,?7.59,?2.167,
?????????????????????????7.042,?10.291,?5.813,?7.997,?5.654,?9.17,?3.2])
#?define?graph?input
X?=?tf.placeholder(dtype=tf.float32,?name="X")
Y?=?tf.placeholder(dtype=tf.float32,?name="Y")
with?tf.variable_scope("linear_regression"):
????#?set?model?weight
????W?=?tf.get_variable(initializer=rng.randn(),?name="weight")
????b?=?tf.get_variable(initializer=rng.randn(),?name="bias")
????#?Construct?a?linear?model
????mul?=?tf.multiply(X,?W,?name="mul")
????pred?=?tf.add(mul,?b,?name="pred")
#?L2?loss
with?tf.variable_scope("l2_loss"):
????loss?=?tf.reduce_mean(tf.pow(pred-Y,?2))
#?Gradient?descent
train_op?=?tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
#?Initialize?the?variables
init_op?=?tf.global_variables_initializer()
#?Checkpoint?save?path
ckpt_path?=?&＃39;./ckpt/linear-regression-model.ckpt&＃39;
#?create?a?saver
saver?=?tf.train.Saver()
#?Summary?save?path
summary_path?=?&＃39;./ckpt/&＃39;
#?Create?a?summary?to?monitor?tensors?which?you?want?to?show?in?tensorboard
tf.summary.scalar(&＃39;weight&＃39;,?W)
tf.summary.scalar(&＃39;bias&＃39;,?b)
tf.summary.scalar(&＃39;loss&＃39;,?loss)
#?Merges?all?summaries?collected?in?the?default?graph
merge_summary_op?=?tf.summary.merge_all()
#?Start?training
with?tf.Session()?as?sess:
????summary_writer?=?tf.summary.FileWriter(summary_path,?sess.graph)
????#?Run?the?initializer
????sess.run(init_op)
????#?Fit?all?training?data
????for?epoch?in?range(training_epochs):
????????for?(x,?y)?in?zip(train_X,?train_Y):
????????????#?Do?feed?dict
????????????_,?summary?=?sess.run([train_op,?merge_summary_op],?feed_dict={X:?x,?Y:?y})
????????if?(epoch?+?1)?%?save_step?==?0:
????????????#?Do?save?model
????????????save_path?=?saver.save(sess,?ckpt_path,?global_step=epoch)
????????????print("Model?saved?in?file?%s"?%?save_path)
????????if?(epoch?+?1)?%?display_step?==?0:
????????????#?Display?loss?and?value
????????????c?=?sess.run(loss,?feed_dict={X:?train_X,?Y:?train_Y})
????????????print("Epoch:",?"%04d"?%?(epoch+1),?"loss=",?"{:.9f}".format(c),
??????????????????"W=",?W.eval(),?"b=",?b.eval())
????????????#?Add?variable?state?to?summary?file
????????????summary_writer.add_summary(summary,?global_step=epoch)
????print("Optimization?finished")
????#?Save?the?final?model
????summary_writer.close()
????#?Calculate?final?loss?after?training
????training_loss?=?sess.run(loss,?feed_dict={X:?train_X,?Y:?train_Y})
????print("Training?loss=",?training_loss,?"W=",?sess.run(W),?"b=",?sess.run(b),?&＃39;\n&＃39;)
????plt.plot(train_X,?train_Y,?&＃39;ro&＃39;,?label=&＃39;Origin?data&＃39;)
????plt.plot(train_X,?sess.run(W)?*?train_X?+?sess.run(b),?label=&＃39;fitted?line&＃39;)
????plt.legend()
????plt.show()

使用tensorboard的方法：

tensorboard --logdir=./ckpt/  (程序中存储summary的地址)

然后在浏览器输入

127.0.0.1:6006

即可查看

我训练的时候出现过loss不降反升的问题，说明选择的学习率有问题

除了学习率之外，学习的效果和优化算法的选择也有关系，我一开始选择的是梯度下降算法

train_op = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss) 

但是效果很不好

而更换优化算法为

train_op = tf.train.AdamOptimizer(learning_rate).minimize(loss)

效果好了不少

loss也比梯度下降小了一倍多

关于各个梯度算法的介绍

https://ruder.io/optimizing-gradient-descent/index.html

https://zhuanlan.zhihu.com/p/22252270

SGD（随机梯度下降）的缺点：

由于从头至尾使用的学习率完全一致，难以选择合适的学习率

容易困于鞍点（可以通过合适的初始化和step size克服）

而Adam算法通过引入梯度的一阶矩和二阶矩估计，引入了近似于动量和摩擦力的物理性质，使得训练具有了自适应性，所以比单纯的梯度下降往往要好用一些。

借助tensorboard可视化的观察loss，bias和weight的变化还是比较方便的，另外查看graph的功能也很好用

使用checkpoint保存的模型：

1.定义一个一模一样的graph，然后导入，可以发现创建图的过程和线性回归的代码一模一样的，创建完毕之后最关键的就是创建tf.train.Saver()，然后调用Saver类下面的restore方法，参数一个是sess一个是ckpt文件的路径

2.直接导入meta文件，这样可以将graph和参数一起导入

1.代码

from?__future__?import?print_function
import?tensorflow?as?tf
import?matplotlib.pyplot?as?plt
import?numpy
rng?=?numpy.random
X?=?tf.placeholder(dtype=tf.float32,?name="X")
Y?=?tf.placeholder(dtype=tf.float32,?name="Y")
with?tf.variable_scope("linear_regression"):
????W?=?tf.Variable(rng.randn(),?name="weight")
????b?=?tf.Variable(rng.randn(),?name="bias")
????mul?=?tf.multiply(X,?W,?name="mul")
????pred?=?tf.add(mul,?b,?name="pred")
saver?=?tf.train.Saver()
ckpt_path?=?&＃39;./ckpt/linear-regression-model.ckpt-999&＃39;
with?tf.Session()?as?sess:
????saver.restore(sess,?ckpt_path)
????print(&＃39;Restored?Value?W={},?b={}&＃39;.format(W.eval(),b.eval()))

结果：

2.代码

采用import_meta_graph导入graph，需要筑起启动Session时要设置参数cOnfig=config

调用graph中的tensor时可以直接使用graph.get_tensor_by_name

from __future__ import print_function

import tensorflow as tf

import matplotlib.pyplot as plt

import numpy

cOnfig= tf.ConfigProto(allow_soft_placement=True)

*# path of the .meta file*

ckpt = &＃39;./ckpt/linear-regression-model.ckpt-999&＃39;

with tf.Session(cOnfig=config) as sess:

 saver = tf.train.import_meta_graph(ckpt + &＃39;.meta&＃39;)

 saver.restore(sess, ckpt)

 graph = sess.graph

 X = graph.get_tensor_by_name("X:0")

 pred = graph.get_tensor_by_name("linear_regression/pred:0")

 

 W = graph.get_tensor_by_name("linear_regression/weight:0")

 b = graph.get_tensor_by_name("linear_regression/bias:0")

 

 print(&＃39;Restored value W={}, b={}&＃39;.format(W.eval(), b.eval()))

结果：

2.非线性回归

https://blog.csdn.net/y12345678904/article/details/77743696

线性回归中使用的multiply()，但是由于实际使用中都是矩阵相乘，所以matmul更加的常用一些

tf.matmul() 和tf.multiply() 的区别

1.tf.multiply（）两个矩阵中对应元素各自相乘

格式: tf.multiply(x, y, name=None)

参数:

x: 一个类型为:half, float32, float64, uint8, int8, uint16, int16, int32, int64, complex64, complex128的张量。

y: 一个类型跟张量x相同的张量。

返回值： x * y element-wise.

注意：

（1）multiply这个函数实现的是元素级别的相乘，也就是两个相乘的数元素各自相乘，而不是矩阵乘法，注意和tf.matmul区别。

（2）两个相乘的数必须有相同的数据类型，不然就会报错。

2.tf.matmul（）将矩阵a乘以矩阵b，生成a * b。

格式: tf.matmul(a, b, transpose_a=False, transpose_b=False, adjoint_a=False, adjoint_b=False, a_is_sparse=False, b_is_sparse=False, name=None)

参数:

a: 一个类型为 float16, float32, float64, int32, complex64, complex128 且张量秩 > 1 的张量。

b: 一个类型跟张量a相同的张量。

transpose_a: 如果为真, a则在进行乘法计算前进行转置。

transpose_b: 如果为真, b则在进行乘法计算前进行转置。

adjoint_a: 如果为真, a则在进行乘法计算前进行共轭和转置。

adjoint_b: 如果为真, b则在进行乘法计算前进行共轭和转置。

a_is_sparse: 如果为真, a会被处理为稀疏矩阵。

b_is_sparse: 如果为真, b会被处理为稀疏矩阵。

name: 操作的名字（可选参数）

返回值： 一个跟张量a和张量b类型一样的张量且最内部矩阵是a和b中的相应矩阵的乘积。

注意：

（1）输入必须是矩阵（或者是张量秩 >２的张量，表示成批的矩阵），并且其在转置之后有相匹配的矩阵尺寸。

（2）两个矩阵必须都是同样的类型，支持的类型如下：float16, float32, float64, int32, complex64, complex128。

代码：

import?tensorflow?as?tf
import?numpy?as?np
import?matplotlib.pyplot?as?plt
learning_rate?=?0.1
training_epochs?=?20000
display_step?=?500
x_data?=?np.linspace(-1,1,200)
x_data?=?x_data.reshape((200,1))
noise?=?np.random.normal(0,?0.05,?x_data.shape)
y_data?=?np.square(x_data)?+?noise
x?=?tf.placeholder(tf.float32,?[200,1])
y?=?tf.placeholder(tf.float32,?[200,1])
#?hidden?layer
weights_l1?=?tf.Variable(tf.random_normal([1,?10]))
biases_l1?=?tf.Variable(tf.zeros([1,?10]))
wx_plus_b_l1?=?tf.matmul(x,?weights_l1)?+?biases_l1
l1?=?tf.nn.tanh(wx_plus_b_l1)
#?output?layer
weights_l2?=?tf.Variable(tf.random_normal([10,1]))
biases_l2?=?tf.Variable(tf.zeros([1,1]))
wx_plus_b_l2?=?tf.matmul(l1,?weights_l2)?+?biases_l2
prediction?=?tf.nn.tanh(wx_plus_b_l2)
#?loss?function
loss?=?tf.reduce_mean(tf.square(y?-?prediction))
#?gradient?descent
train_step?=?tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
with?tf.Session()?as?sess:
????sess.run(tf.global_variables_initializer())
????for?global_epochs?in?range(training_epochs):
????????sess.run(train_step,?feed_dict={x:x_data,?y:y_data})

????????if?(global_epochs?+?1)?%?display_step?==?0:
????????????loss_value?=?sess.run(loss,?feed_dict={x:x_data,?y:y_data})
????????????print("epoch:",?"%04d"?%(global_epochs?+?1),?"loss=",?"{:.9f}".format(loss_value))?
????prediction_value?=?sess.run(prediction,?feed_dict={x:x_data})
????plt.figure()
????plt.scatter(x_data,?y_data)
????plt.plot(x_data,?prediction_value,&＃39;r-&＃39;,lw=3)
????plt.show()

结果：

下降的效果还是比较明显的，从0.0076一直下降到了0.0027

图像：

Gradient Descent的结果，比较符合二次曲线的分布规律

Adam的结果，虽然loss比Gradient Descent小，但是实际上有比较明显的过拟合了

另外这里的激活函数采用的是tanh，更换成sigmoid之后

效果差于tanh做激活函数，因为tanh的导数值大于sigmoid，收敛速度实际上是快于sigmoid的，不过我把训练次数翻到了40000次后发现好像sigmoid作为激活函数，训练的上限就是0.004几了，而如果采用ReLU的话，就直接起飞了，根本无法收敛

ReLU还是适合在深度网络中做激活函数，在这种就一层的网络里面来搞效果就比较差（本来的目的就是为了解决深度网络中的梯度爆炸）

3.全连接网络实例（mnist）

https://geektutu.com/post/tensorflow-mnist-simplest.html

分为一个mnist_model.py用于构建网络，一个mnist_train.py用于训练，这种构建方式是大多数神经网络都会采取的方式

一维向量既可以用[1, 维数]来表示，也可以用[None, 维数]来表示

l由于label采用了1-10的独热编码，loss函数使用的是交叉熵，公式为（p为真实分布，q为非真实分布）

代码为

self.loss = -tf.reduce_sum(self.label * tf.log(self.y + 1e-10))

这里加1e-10的目的是为了防止y=0时出现数值溢出错误

关于feed_dict
sess.run() 中的feed_dict

结果是1，本质上就是一个临时赋值的功能

model的代码：

import?tensorflow?as?tf
class?Network:
????def?__init__(self):
????????#?learning?rate
????????self.learning_rate?=?0.01
????????#?input?tensor
????????self.x?=?tf.placeholder(tf.float32,?[None,?784])
????????#?label?tensor
????????self.label?=?tf.placeholder(tf.float32,?[None,?10])
????????#?weight
????????self.w?=?tf.Variable(tf.random_normal([784,?10]))
????????#?bias
????????self.b?=?tf.Variable(tf.random_normal([10]))
????????#?output?tensor
????????self.y?=?tf.nn.softmax(tf.matmul(self.x,?self.w)?+?self.b)
????????#?loss
????????self.loss?=?-tf.reduce_sum(self.label?*?tf.log(self.y?+?1e-10))
????????#?train
????????self.train?=?tf.train.GradientDescentOptimizer(self.learning_rate).minimize(self.loss)
????????#?verify
????????predict?=?tf.equal(tf.arg_max(self.label,?1),?tf.arg_max(self.y,?1))
????????#?calc?the?accuracy
????????self.accuracy?=?tf.reduce_mean(tf.cast(predict,?"float"))

train的代码:

train的代码
import?tensorflow?as?tf
from?tensorflow.examples.tutorials.mnist?import?input_data
from?mnist_model?import?Network
class?Train:
????def?__init__(self):
????????self.net?=?Network()
????????#?initialize?session
????????self.sess?=?tf.Session()
????????#?initialize?variables
????????self.sess.run(tf.global_variables_initializer())
????????#?input?data
????????self.data?=?input_data.read_data_sets(&＃39;/home/satori/python/tensorflow_test/data_set&＃39;,?one_hot=True)
????????#?create?a?saver
????????self.saver?=?tf.train.Saver()
????def?train(self):
????????batch_size?=?64
????????train_epoch?=?10000
????????save_interval?=?1000
????????display_interval?=?100
????????ckpt_path?=?&＃39;./ckpt/mnist-model.ckpt&＃39;
????????for?step?in?range(train_epoch):
????????????x,?label?=?self.data.train.next_batch(batch_size)
????????????#?training
????????????self.sess.run(self.net.train,?feed_dict={self.net.x:x,?self.net.label:label})
????????????if?(step?+?1)?%?display_interval?==?0:
????????????????#?print?the?loss
????????????????loss?=?self.sess.run(self.net.loss,?feed_dict={self.net.x:x,?self.net.label:label})
????????????????print("step=%d,?loss=%.2f"?%((step+1),?loss))
????????????
????????????if?(step?+?1)?%?save_interval?==?0:
????????????????#?save?the?model
????????????????self.saver.save(self.sess,?ckpt_path,?global_step=step)
????????????????print("model?saved?in?file?%s"?%ckpt_path)

????def?calculate_accuracy(self):
????????test_x?=?self.data.test.images
????????test_label?=?self.data.test.labels
????????#?using?the?net?trained
????????accuracy?=?self.sess.run(self.net.accuracy,?feed_dict={self.net.x:?test_x,?self.net.label:?test_label})
????????print("accuracy=%.2f,%dof?pictures?are?tested"?%(accuracy,len(test_label)))
????
if?__name__?==?"__main__":
????app?=?Train()
????app.train()
????app.calculate_accuracy()

train中会保存模型，然后我们需要将模型导入predict，对样本进行识别

import?numpy?as?np
import?tensorflow?as?tf
from?PIL?import?Image
from?mnist_model?import?Network
ckpt_path?=?&＃39;./ckpt/mnist-model.ckpt-9999&＃39;
class?Predict:
????def?__init__(self):
????????#?restore?the?network
????????self.net?=?Network()
????????self.sess?=?tf.Session()
????????self.sess.run(tf.global_variables_initializer())
????????self.restore()
????def?restore(self):
????????saver?=?tf.train.Saver()
????????saver.restore(self.sess,?ckpt_path)
????def?predict(self,?image_path):
????????#?turn?image?into?black?and?white
????????img?=?Image.open(image_path).convert(&＃39;L&＃39;)
????????flatten_img?=?np.reshape(img,?784)
????????x?=?np.array([1?-?flatten_img])
????????y?=?self.sess.run(self.net.y,?feed_dict={self.net.x:?x})
????????
????????print(image_path)
????????print(&＃39;??????????->?Predict?digit&＃39;,?np.argmax(y[0]))
if?__name__?==?"__main__":
????app?=?Predict()
????app.predict(&＃39;./test_images/0.png&＃39;)
????app.predict(&＃39;./test_images/1.png&＃39;)
????app.predict(&＃39;./test_images/4.png&＃39;)

样本：

运行结果：

另外在导入模型方面，还可以引入

def restore(self):
        saver = tf.train.Saver()
        ckpt = tf.train.get_checkpoint_state(CKPT_DIR)
        if ckpt and ckpt.model_checkpoint_path:
            saver.restore(self.sess, ckpt.model_checkpoint_path)
        else:
            raise FileNotFoundError("未保存任何模型")

进行错误处理

实际上还是可以像线性回归那边一样加入一个summary来方便用tensorboard来可视化，不过因为我上面跑的还挺成功的，就先不搞这个了，总体上还是比较顺利的

机器学习入门实践——线性回归&非线性回归&mnist手写体识别