softmax分类器

这篇文章介绍如何使用一个简单的多层感知机和softmax分类器对MNIST数据集进行分类。

1. 使用内建的函数加载MNIST数据

from tensorflow.examples.tutorials.mnist import input_data
mnist &＃61; input_data.read_data_sets(&＃39;MNIST_data&＃39;, one_hot&＃61;True)

2. 理解输入数据集

&＃xff08;1&＃xff09;独热码形式表示label
&＃xff08;2&＃xff09;训练集&＃xff0c;验证集和测试集

- 55,000 data points
- mnist.train.images for inputs
- mnist.train.labels for outputs
----------------------------------------
- 5,000 data points
- mnist.validation.images for inputs
- mnist.validation.labels for outputs
-----------------------------------------
-10,000 data points
- mnist.test.images for inputs
- mnist.test.labels for outputs

3. 创建一个交互式的会话

在Tensorflow中可以使用2找个基本的方式运行代码。
一种是把图都构建好了之后才创建会话执行张量和运行计算。
另外一种是交互式会话方式&＃xff0c;创建代码时随意执行。
这里创建一个交互式的会话, 注意&＃xff1a;当执行完后要关闭会话。

sess &＃61;tf.InteractiveSession()

4. 创建占位符(placeholder)

在Tensorflow中&＃xff0c;在给变量赋值之前要先创建占位符。这里我们为输入”Xs”和输出”Ys”创建占位符。

占位符x表示分配给输入的”空间”:

• 这里的每一个输入有28*28 &＃61; 784个像素&＃xff1b;
• placeholder中变量“shape”用于定义张量的大小&＃xff0c;格式为shape&＃61;[d1&＃xff0c;d2]&＃xff1b;
• d1 &＃61; None 表示批的输入可以为任意大小&＃xff1b;
• d2 &＃61; 784表示一个训练样本的像素个数。

占位符y表示最终的输出或者label&＃xff1a;

• 10 个可能的输出类别
• placeholder中变量“shape”用于定义张量的大小&＃xff0c;格式为shape&＃61;[d1&＃xff0c;d2]&＃xff1b;
• d1 &＃61; None 表示批的输入可以为任意大小&＃xff1b;
• d2 &＃61; 10 表示输出的个数。

占位符的类型(dtype)一般使用tf.float32或者tf.float64.

x &＃61; tf.placeholder(tf.float32, shape &＃61; [None, 784]
y &＃61; tf.placeholder(tf.float32, shape &＃61; [None, 10]

5. 分配偏置和权重到空的张量

创建标量的时候需要给这个变量一个初值&＃xff0c;当然这个初值还没有生效&＃xff0c;只有执行初始化时才会生效。
初值全部设置为0。
初值的选取是十分重要的&＃xff0c;但是这里只是示范&＃xff0c;为了简单起见全部设置为零。

# Weight tensor
W &＃61; tf.Variable(tf.zeros([784,10],tf.float32))
# Bias tensor
b &＃61; tf.Variable(tf.zeros([10],tf.float32))

6. 执行赋值操作

上面我们只是给分配权重和偏置&＃xff0c;但是还没有初始化。
因为我们创建的是一个交互式的会话&＃xff0c;所以在创建会话后任何地方执行run.sess()都可以。
执行tf.global_variables_initializer()初始化变量。

sess.run(tf.global_variables_initializer())

7. 添加权重和偏置到输入

如下如&＃xff0c;我们将输入与权重相乘在加上偏置就得到输出。
注意&＃xff1a;这里并没有使用激活函数。

tf.matmul(x,w) &＃43; b

8. softmax 回归

分类问题中常常使用softmax分类器解决分类问题。他能产生一个概率输出。在这个例子中&＃xff0c;我们的模型不会提供一个100%确定的输出&＃xff0c;而是一个概率分布&＃xff0c;比如模型是正确的&＃xff0c;对应某个输入&＃xff0c;输出的结果概率就会比较大。
比如输入数字9&＃xff0c;输出有很大概率是9.

0 -->.0.1%
1 -->...2%
2 -->...3%
3 -->...2%
4 -->..12%
5 -->..10%
6 -->..57%
7 -->..20%
8 -->..55%
9 -->..80%

9. 损失函数

用于最小化预测结果和真实结果的误差。
这里使用的是交叉熵。

cross_entropy &＃61; tf.reduce_mean(-tf.reduce_sum(y_*log(y),reduction_indices&＃61;[1]))

10. 优化方法

Tensorflow集成许多优化方法&＃xff0c;如SGD, Adam&＃xff0c; RMSqr&＃xff0c;Momentum等。
这里使用梯度下降&＃xff1a;

train_step &＃61; tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

11. 训练批大小的设置

由于批梯度下降太过耗费计算资源&＃xff0c;所以不常用。
所谓批梯度下降就是一次使用所有的数据作为输入&＃xff0c;去训练模型。
因此&＃xff0c;常用的是mini-batch梯度下降。
通过选择合适的nimi-batch&＃xff0c;能够快速地训练网络。

for i in range(1000):batch &＃61; mnist.train.next_batch(50)train_step.run(feed_dict&＃61;{x:batch[0], y_:batch[1]})

12. 测试

correct_prediction &＃61; tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy &＃61; tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
acc &＃61; accuracy.eval(feed_dict&＃61;{x:mnist.test.images, y_:mnist.test.labels})*100
print("The final accuracy for the simple ANN model is: {} % ".format(acc))

13. 关闭会话

sess.close()

完整代码及运行结果

import tensorflow as tf
# import MNIST dataset using tensoflow build-in function
from tensorflow.examples.tutorials.mnist import input_data
mnist &＃61; input_data.read_data_sets(&＃39;MNIST_data&＃39;, one_hot&＃61;True)# creating a interactive session
sess &＃61; tf.InteractiveSession()# creating placeholder for input and output
x &＃61; tf.placeholder(tf.float32, shape &＃61; [None, 784])
y_ &＃61; tf.placeholder(tf.float32, shape&＃61;[None, 10])# assign bias and weight to null tensors
w &＃61; tf.Variable(initial_value&＃61;tf.zeros([784,10], dtype&＃61;tf.float32))
b &＃61; tf.Variable(initial_value&＃61;tf.zeros([10],dtype&＃61;tf.float32))#excute the assignment operation
sess.run(tf.global_variables_initializer())# softmax regression
y &＃61; tf.nn.softmax(tf.matmul(x,w) &＃43; b)# cost function
cross_entropy &＃61; tf.reduce_mean(-tf.reduce_sum(y_*tf.log(y), reduction_indices&＃61;[1]))# optimizaiton
train_step &＃61; tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)# mini- batch setting
for i in range(1000):batch &＃61; mnist.train.next_batch(50)train_step.run(feed_dict&＃61;{x:batch[0], y_:batch[1]})# test
correct_prediction &＃61; tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy &＃61; tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
acc &＃61; accuracy.eval(feed_dict&＃61;{x:mnist.test.images, y_:mnist.test.labels})*100
print("The final accuracy for the simple ANN model is: {} % ".format(acc))# close session
sess.close()

结果&＃xff1a;

The final accuracy for the simple ANN model is: 90.75000286102295 %

译自 Deep Learning with TensorFlow IBM Cognitive Class ML0120EN
ML0120EN-2.2-Review-CNN-MNIST-Dataset 1st part: classify MNIST using a simple model.