TensorFlow基础入门十大操作总结

TensorFlow 

Author&＃xff1a;李祖贤

From&＃xff1a;Datawhale

TensorFlow 是一个开源的、基于 Python 的机器学习框架&＃xff0c;它由 Google 开发&＃xff0c;提供了 Python&＃xff0c;C/C&＃43;&＃43;、Java、Go、R 等多种编程语言的接口&＃xff0c;并在图形分类、音频处理、推荐系统和自然语言处理等场景下有着丰富的应用&＃xff0c;是目前最热门的机器学习框架。

但不少小伙伴跟我吐苦水说Tensorflow的应用太乱了&＃xff0c;感觉学的云里雾里&＃xff0c;能不能搞个Tensorflow的教程呀。今天&＃xff0c;就和大家一起梳理下TensorFlow的十大基础操作。详情如下&＃xff1a;

一、Tensorflow的排序与张量

Tensorflow允许用户把张量操作和功能定义为计算图。张量是通用的数学符号&＃xff0c;代表保存数据值的多维列阵&＃xff0c;张量的维数称为阶。

引用相关的库

import tensorflow as tf
import numpy as np


获取张量的阶&＃xff08;从下面例子看到tf的计算过程&＃xff09;

# 获取张量的阶&＃xff08;从下面例子看到tf的计算过程&＃xff09;
g &＃61; tf.Graph()
# 定义一个计算图
with g.as_default():## 定义张量t1,t2,t3t1 &＃61; tf.constant(np.pi)t2 &＃61; tf.constant([1,2,3,4])t3 &＃61; tf.constant([[1,2],[3,4]])## 获取张量的阶r1 &＃61; tf.rank(t1)r2 &＃61; tf.rank(t2)r3 &＃61; tf.rank(t3)## 获取他们的shapess1 &＃61; t1.get_shape()s2 &＃61; t2.get_shape()s3 &＃61; t3.get_shape()print("shapes:",s1,s2,s3)
# 启动前面定义的图来进行下一步操作
with tf.Session(graph&＃61;g) as sess:print("Ranks:",r1.eval(),r2.eval(),r3.eval())


二、Tensorflow 计算图

Tensorflow 的核心在于构建计算图&＃xff0c;并用计算图推导从输入到输出的所有张量之间的关系。

假设有0阶张量a,b,c&＃xff0c;要评估  &＃xff0c;可以表示为下图所示的计算图&＃xff1a;

可以看到&＃xff0c;计算图就是一个节点网络&＃xff0c;每个节点就像是一个操作&＃xff0c;将函数应用到输入张量&＃xff0c;然后返回0个或者更多个张量作为张量作为输出。

在Tensorflow编制计算图步骤如下&＃xff1a; 

    1. 初始化一个空的计算图

    2. 为该计算图加入节点&＃xff08;张量和操作&＃xff09;

    3. 执行计算图&＃xff1a;

        a.开始一个新的会话

        b.初始化图中的变量

        c.运行会话中的计算图

# 初始化一个空的计算图
g &＃61; tf.Graph()# 为该计算图加入节点&＃xff08;张量和操作&＃xff09;
with g.as_default():a &＃61; tf.constant(1,name&＃61;"a")b &＃61; tf.constant(2,name&＃61;"b")c &＃61; tf.constant(3,name&＃61;"c")z &＃61; 2*(a-b)&＃43;c# 执行计算图
## 通过调用tf.Session产生会话对象&＃xff0c;该调用可以接受一个图为参数&＃xff08;这里是g&＃xff09;&＃xff0c;否则将启动默认的空图
## 执行张量操作的用sess.run(),他将返回大小均匀的列表
with tf.Session(graph&＃61;g) as sess:print(&＃39;2*(a-b)&＃43;c &＃61;>&＃39;,sess.run(z))


2*(a-b)&＃43;c &＃61;> 1

三、Tensorflow中的占位符

Tensorflow有提供数据的特别机制。其中一种机制就是使用占位符&＃xff0c;他们是一些预先定义好类型和形状的张量。

通过调用tf.placeholder函数把这些张量加入计算图中&＃xff0c;而且他们不包括任何数据。然而一旦执行图中的特定节点就需要提供数据阵列。

3.1 定义占位符

g &＃61; tf.Graph()with g.as_default():tf_a &＃61; tf.placeholder(tf.int32,shape&＃61;(),name&＃61;"tf_a") # shape&＃61;[]就是定义0阶张量,更高阶张量可以用【n1,n2,n3】表示&＃xff0c;如shape&＃61;&＃xff08;3,4,5&＃xff09;tf_b &＃61; tf.placeholder(tf.int32,shape&＃61;(),name&＃61;"tf_b")tf_c &＃61; tf.placeholder(tf.int32,shape&＃61;(),name&＃61;"tf_c")r1 &＃61; tf_a - tf_br2 &＃61; 2*r1z &＃61; r2 &＃43; tf_c


3.2 为占位符提供数据

当在图中处理节点的时候&＃xff0c;需要产生python字典来为占位符来提供数据阵列。

with tf.Session(graph&＃61;g) as sess:feed &＃61; {tf_a:1,tf_b:2,tf_c:3}print(&＃39;z:&＃39;,sess.run(z,feed_dict&＃61;feed))


z: 1

3.3 用batch_sizes为数据阵列定义占位符

在研发神经网络模型的时候&＃xff0c;有时会碰到大小规模不一致的小批量数据。占位符的一个功能是把大小无法确定的维度定义为None。

g &＃61; tf.Graph()with g.as_default():tf_x &＃61; tf.placeholder(tf.float32,shape&＃61;(None,2),name&＃61;"tf_x")x_mean &＃61; tf.reduce_mean(tf_x,axis&＃61;0,name&＃61;"mean")np.random.seed(123)
with tf.Session(graph&＃61;g) as sess:x1 &＃61; np.random.uniform(low&＃61;0,high&＃61;1,size&＃61;(5,2))print("Feeding data with shape",x1.shape)print("Result:",sess.run(x_mean,feed_dict&＃61;{tf_x:x1}))x2 &＃61; np.random.uniform(low&＃61;0,high&＃61;1,size&＃61;(10,2))print("Feeding data with shape",x2.shape)print("Result:",sess.run(x_mean,feed_dict&＃61;{tf_x:x2}))


四、Tensorflow 的变量

就Tensorflow而言&＃xff0c;变量是一种特殊类型的张量对象&＃xff0c;他允许我们在训练模型阶段&＃xff0c;在tensorflow会话中储存和更新模型的参数。

4.1 定义变量

• 方式1&＃xff1a;tf.Variable() 是为新变量创建对象并将其添加到计算图的类。

• 方式2&＃xff1a;tf.get_variable()是假设某个变量名在计算图中&＃xff0c;可以复用给定变量名的现有值或者不存在则创建新的变量&＃xff0c;因此变量名的name非常重要&＃xff01;

无论采用哪种变量定义方式&＃xff0c;直到调用tf.Session启动计算图并且在会话中具体运行了初始化操作后才设置初始值。事实上&＃xff0c;只有初始化Tensorflow的变量之后才会为计算图分配内存。

g1 &＃61; tf.Graph()with g1.as_default():w &＃61; tf.Variable(np.array([[1,2,3,4],[5,6,7,8]]),name&＃61;"w")print(w)


4.2 初始化变量

由于变量是直到调用tf.Session启动计算图并且在会话中具体运行了初始化操作后才设置初始值&＃xff0c;只有初始化Tensorflow的变量之后才会为计算图分配内存。因此这个初始化的过程十分重要&＃xff0c;这个初始化过程包括&＃xff1a;为 相关张量分配内存空间并为其赋予初始值。
初始化方式&＃xff1a;

• 方式1.tf.global_variables_initializer函数&＃xff0c;返回初始化所有计算图中现存的变量&＃xff0c;要注意的是&＃xff1a;定义变量一定要造初始化之前&＃xff0c;不然会报错&＃xff01;&＃xff01;&＃xff01;

• 方式2&＃xff1a;将tf.global_variables_initializer函数储存在init_op&＃xff08;名字不唯一&＃xff0c;自己定&＃xff09;对象内&＃xff0c;然后用sess.run出来

with tf.Session(graph&＃61;g1) as sess:sess.run(tf.global_variables_initializer())print(sess.run(w))


# 我们来比较定义变量与初始化顺序的关系
g2 &＃61; tf.Graph()with g2.as_default():w1 &＃61; tf.Variable(1,name&＃61;"w1")init_op &＃61; tf.global_variables_initializer()w2 &＃61; tf.Variable(2,name&＃61;"w2")with tf.Session(graph&＃61;g2) as sess:sess.run(init_op)print("w1:",sess.run(w1))


w1: 1

with tf.Session(graph&＃61;g2) as sess: sess.run(init_op)print("w2:",sess.run(w2))


4.3 变量范围

变量范围是一个重要的概念&＃xff0c;对建设大型神经网络计算图特别有用。

可以把变量的域划分为独立的子部分。在创建变量时&＃xff0c;该域内创建的操作与张量的名字都以域名为前缀&＃xff0c;而且这些域可以嵌套。

g &＃61; tf.Graph()with g.as_default():with tf.variable_scope("net_A"): #定义一个域net_Awith tf.variable_scope("layer-1"): # 在域net_A下再定义一个域layer-1w1 &＃61; tf.Variable(tf.random_normal(shape&＃61;(10,4)),name&＃61;"weights") # 该变量定义在net_A/layer-1域下with tf.variable_scope("layer-2"):w2 &＃61; tf.Variable(tf.random_normal(shape&＃61;(20,10)),name&＃61;"weights")with tf.variable_scope("net_B"): # 定义一个域net_Bwith tf.variable_scope("layer-2"):w3 &＃61; tf.Variable(tf.random_normal(shape&＃61;(10,4)),name&＃61;"weights")print(w1)print(w2)print(w3)


五、建立回归模型

我们需要定义的变量&＃xff1a;

• 1.输入x&＃xff1a;占位符tf_x

• 2.输入y&＃xff1a;占位符tf_y

• 3.模型参数w&＃xff1a;定义为变量weight

• 4.模型参数b&＃xff1a;定义为变量bias

• 5.模型输出 ̂ y^&＃xff1a;有操作计算得到

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inlineg &＃61; tf.Graph()# 定义计算图
with g.as_default():tf.set_random_seed(123)## placeholdertf_x &＃61; tf.placeholder(shape&＃61;(None),dtype&＃61;tf.float32,name&＃61;"tf_x")tf_y &＃61; tf.placeholder(shape&＃61;(None),dtype&＃61;tf.float32,name&＃61;"tf_y")## define the variable (model parameters)weight &＃61; tf.Variable(tf.random_normal(shape&＃61;(1,1),stddev&＃61;0.25),name&＃61;"weight")bias &＃61; tf.Variable(0.0,name&＃61;"bias")## build the modely_hat &＃61; tf.add(weight*tf_x,bias,name&＃61;"y_hat")## compute the costcost &＃61; tf.reduce_mean(tf.square(tf_y-y_hat),name&＃61;"cost")## train the modeloptim &＃61; tf.train.GradientDescentOptimizer(learning_rate&＃61;0.001)train_op &＃61; optim.minimize(cost,name&＃61;"train_op")


# 创建会话启动计算图并训练模型
## create a random toy dataset for regression
np.random.seed(0)
def make_random_data():x &＃61; np.random.uniform(low&＃61;-2,high&＃61;4,size&＃61;100)y &＃61; []for t in x:r &＃61; np.random.normal(loc&＃61;0.0,scale&＃61;(0.5 &＃43; t*t/3),size&＃61;None)y.append(r)return x,1.726*x-0.84&＃43;np.array(y)x,y &＃61; make_random_data()plt.plot(x,y,&＃39;o&＃39;)
plt.show()


## train/test splits
x_train,y_train &＃61; x[:100],y[:100]
x_test,y_test &＃61; x[100:],y[100:]n_epochs &＃61; 500
train_costs &＃61; []
with tf.Session(graph&＃61;g) as sess:sess.run(tf.global_variables_initializer())## train the model for n_epochsfor e in range(n_epochs):c,_ &＃61; sess.run([cost,train_op],feed_dict&＃61;{tf_x:x_train,tf_y:y_train})train_costs.append(c)if not e % 50:print("Epoch %4d: %.4f"%(e,c))
plt.plot(train_costs)
plt.show()


只需要把

sess.run([cost,train_op],feed_dict&＃61;{tf_x:x_train,tf_y:y_train})


改为

sess.run([&＃39;cost:0&＃39;,&＃39;train_op:0&＃39;],feed_dict&＃61;{&＃39;tf_x:0&＃39;:x_train,&＃39;tf_y:0&＃39;:y_train})


注意&＃xff1a;只有张量名才有&＃xff1a;0后缀&＃xff0c;操作是没有&＃xff1a;0后缀的&＃xff0c;例如train_op并没有train_op&＃xff1a;0

## train/test splits
x_train,y_train &＃61; x[:100],y[:100]
x_test,y_test &＃61; x[100:],y[100:]n_epochs &＃61; 500
train_costs &＃61; []
with tf.Session(graph&＃61;g) as sess:sess.run(tf.global_variables_initializer())## train the model for n_epochsfor e in range(n_epochs):c,_ &＃61; sess.run([&＃39;cost:0&＃39;,&＃39;train_op&＃39;],feed_dict&＃61;{&＃39;tf_x:0&＃39;:x_train,&＃39;tf_y:0&＃39;:y_train})train_costs.append(c)if not e % 50:print("Epoch %4d: %.4f"%(e,c))


七、在Tensorflow中储存和恢复模型

神经网络训练可能需要几天几周的时间&＃xff0c;因此我们需要把训练出来的模型储存下来供下次使用。

储存的方法是在定义计算图的时候加入&＃xff1a;saver &＃61; tf.train.Saver()&＃xff0c;并且在训练后输入saver.save(sess,&＃39;./trained-model&＃39;)

g &＃61; tf.Graph()# 定义计算图
with g.as_default():tf.set_random_seed(123)## placeholdertf_x &＃61; tf.placeholder(shape&＃61;(None),dtype&＃61;tf.float32,name&＃61;"tf_x")tf_y &＃61; tf.placeholder(shape&＃61;(None),dtype&＃61;tf.float32,name&＃61;"tf_y")## define the variable (model parameters)weight &＃61; tf.Variable(tf.random_normal(shape&＃61;(1,1),stddev&＃61;0.25),name&＃61;"weight")bias &＃61; tf.Variable(0.0,name&＃61;"bias")## build the modely_hat &＃61; tf.add(weight*tf_x,bias,name&＃61;"y_hat")## compute the costcost &＃61; tf.reduce_mean(tf.square(tf_y-y_hat),name&＃61;"cost")## train the modeloptim &＃61; tf.train.GradientDescentOptimizer(learning_rate&＃61;0.001)train_op &＃61; optim.minimize(cost,name&＃61;"train_op")saver &＃61; tf.train.Saver()
# 创建会话启动计算图并训练模型
## create a random toy dataset for regression
np.random.seed(0)
def make_random_data():x &＃61; np.random.uniform(low&＃61;-2,high&＃61;4,size&＃61;100)y &＃61; []for t in x:r &＃61; np.random.normal(loc&＃61;0.0,scale&＃61;(0.5 &＃43; t*t/3),size&＃61;None)y.append(r)return x,1.726*x-0.84&＃43;np.array(y)x,y &＃61; make_random_data()plt.plot(x,y,&＃39;o&＃39;)
plt.show()## train/test splits
x_train,y_train &＃61; x[:100],y[:100]
x_test,y_test &＃61; x[100:],y[100:]n_epochs &＃61; 500
train_costs &＃61; []
with tf.Session(graph&＃61;g) as sess:sess.run(tf.global_variables_initializer())## train the model for n_epochsfor e in range(n_epochs):c,_ &＃61; sess.run([&＃39;cost:0&＃39;,&＃39;train_op&＃39;],feed_dict&＃61;{&＃39;tf_x:0&＃39;:x_train,&＃39;tf_y:0&＃39;:y_train})train_costs.append(c)if not e % 50:print("Epoch %4d: %.4f"%(e,c))saver.save(sess,&＃39;C:/Users/Leo/Desktop/trained-model/&＃39;)


# 加载保存的模型g2 &＃61; tf.Graph()
with tf.Session(graph&＃61;g2) as sess:new_saver &＃61; tf.train.import_meta_graph("C:/Users/Leo/Desktop/trained-model/.meta")new_saver.restore(sess,&＃39;C:/Users/Leo/Desktop/trained-model/&＃39;)y_pred &＃61; sess.run(&＃39;y_hat:0&＃39;,feed_dict&＃61;{&＃39;tf_x:0&＃39;:x_test})


## 可视化模型
x_arr &＃61; np.arange(-2,4,0.1)
g2 &＃61; tf.Graph()
with tf.Session(graph&＃61;g2) as sess:new_saver &＃61; tf.train.import_meta_graph("C:/Users/Leo/Desktop/trained-model/.meta")new_saver.restore(sess,&＃39;C:/Users/Leo/Desktop/trained-model/&＃39;)y_arr &＃61; sess.run(&＃39;y_hat:0&＃39;,feed_dict&＃61;{&＃39;tf_x:0&＃39;:x_arr})plt.figure()plt.plot(x_train,y_train,&＃39;bo&＃39;)plt.plot(x_test,y_test,&＃39;bo&＃39;,alpha&＃61;0.3)plt.plot(x_arr,y_arr.T[:,0],&＃39;-r&＃39;,lw&＃61;3)plt.show()


八、把张量转换成多维数据阵列

8.1 获得张量的形状

在numpy中我们可以用arr.shape来获得Numpy阵列的形状&＃xff0c;而在Tensorflow中则用tf.get_shape函数完成&＃xff1a;

注意&＃xff1a;在tf.get_shape函数的结果是不可以索引的&＃xff0c;需要用as.list()换成列表才能索引。

g &＃61; tf.Graph()with g.as_default():arr &＃61; np.array([[1.,2.,3.,3.5],[4.,5.,6.,6.5],[7.,8.,9.,9.5]])T1 &＃61; tf.constant(arr,name&＃61;"T1")print(T1)s &＃61; T1.get_shape()print("Shape of T1 is ",s)T2 &＃61; tf.Variable(tf.random_normal(shape&＃61;s))print(T2)T3 &＃61; tf.Variable(tf.random_normal(shape&＃61;(s.as_list()[0],)))print(T3)


8.2 改变张量的形状

现在来看看Tensorflow如何改变张量的形状&＃xff0c;在Numpy可以用np.reshape或arr.reshape&＃xff0c;在一维的时候可以用-1来自动计算最后的维度。在Tensorflow内调用tf.reshape

with g.as_default():T4 &＃61; tf.reshape(T1,shape&＃61;[1,1,-1],name&＃61;"T4")print(T4)T5 &＃61; tf.reshape(T1,shape&＃61;[1,3,-1],name&＃61;"T5")print(T5)


with tf.Session(graph&＃61;g) as sess:print(sess.run(T4))print()print(sess.run(T5))


with g.as_default():tf_splt &＃61; tf.split(T5,num_or_size_splits&＃61;2,axis&＃61;2,name&＃61;"T8")print(tf_splt)


8.4 张量的拼接

g &＃61; tf.Graph()with g.as_default():t1 &＃61; tf.ones(shape&＃61;(5,1),dtype&＃61;tf.float32,name&＃61;"t1")t2 &＃61; tf.zeros(shape&＃61;(5,1),dtype&＃61;tf.float32,name&＃61;"t2")print(t1)print(t2)


with g.as_default():t3 &＃61; tf.concat([t1,t2],axis&＃61;0,name&＃61;"t3")print(t3)t4 &＃61; tf.concat([t1,t2],axis&＃61;1,name&＃61;"t4")print(t4)


with tf.Session(graph&＃61;g) as sess:print(t3.eval())print()print(t4.eval())


with tf.Session(graph&＃61;g) as sess: print(sess.run(t3))print()print(sess.run(t4))


这里主要讨论在Tensorflow执行像python一样的if语句&＃xff0c;循环while语句&＃xff0c;if...else..语句等。

9.1 条件语句

tf.cond()语句我们来试试&＃xff1a;

x,y &＃61; 1.0,2.0g &＃61; tf.Graph()with g.as_default():tf_x &＃61; tf.placeholder(dtype&＃61;tf.float32,shape&＃61;None,name&＃61;"tf_x")tf_y &＃61; tf.placeholder(dtype&＃61;tf.float32,shape&＃61;None,name&＃61;"tf_y")res &＃61; tf.cond(tf_x Result:"%(x Result:"%(x

9.2 执行python的if...else语句

tf.case()

f1 &＃61; lambda: tf.constant(1)
f2 &＃61; lambda: tf.constant(0)
result &＃61; tf.case([(tf.less(x,y),f1)],default&＃61;f2)
print(result)


9.3 执行python的while语句

tf.while_loop()

i &＃61; tf.constant(0)
threshold &＃61; 100
c &＃61; lambda i: tf.less(i,100)
b &＃61; lambda i: tf.add(i,1)
r &＃61; tf.while_loop(cond&＃61;c,body&＃61;b,loop_vars&＃61;[i])
print(r)


十、用TensorBoard可视化图

TensorBoard是Tensorflow一个非常好的工具&＃xff0c;它负责可视化和模型学习。可视化允许我们看到节点之间的连接&＃xff0c;探索它们之间的依赖关系&＃xff0c;并且在需要的时候进行模型调试。

def build_classifier(data, labels, n_classes&＃61;2):data_shape &＃61; data.get_shape().as_list()weights &＃61; tf.get_variable(name&＃61;&＃39;weights&＃39;,shape&＃61;(data_shape[1], n_classes),dtype&＃61;tf.float32)bias &＃61; tf.get_variable(name&＃61;&＃39;bias&＃39;,initializer&＃61;tf.zeros(shape&＃61;n_classes))print(weights)print(bias)logits &＃61; tf.add(tf.matmul(data, weights),bias,name&＃61;&＃39;logits&＃39;)print(logits)return logits, tf.nn.softmax(logits)def build_generator(data, n_hidden):data_shape &＃61; data.get_shape().as_list()w1 &＃61; tf.Variable(tf.random_normal(shape&＃61;(data_shape[1],n_hidden)),name&＃61;&＃39;w1&＃39;)b1 &＃61; tf.Variable(tf.zeros(shape&＃61;n_hidden),name&＃61;&＃39;b1&＃39;)hidden &＃61; tf.add(tf.matmul(data, w1), b1,name&＃61;&＃39;hidden_pre-activation&＃39;)hidden &＃61; tf.nn.relu(hidden, &＃39;hidden_activation&＃39;)w2 &＃61; tf.Variable(tf.random_normal(shape&＃61;(n_hidden,data_shape[1])),name&＃61;&＃39;w2&＃39;)b2 &＃61; tf.Variable(tf.zeros(shape&＃61;data_shape[1]),name&＃61;&＃39;b2&＃39;)output &＃61; tf.add(tf.matmul(hidden, w2), b2,name &＃61; &＃39;output&＃39;)return output, tf.nn.sigmoid(output)batch_size&＃61;64
g &＃61; tf.Graph()with g.as_default():tf_X &＃61; tf.placeholder(shape&＃61;(batch_size, 100),dtype&＃61;tf.float32,name&＃61;&＃39;tf_X&＃39;)## build the generatorwith tf.variable_scope(&＃39;generator&＃39;):gen_out1 &＃61; build_generator(data&＃61;tf_X,n_hidden&＃61;50)## build the classifierwith tf.variable_scope(&＃39;classifier&＃39;) as scope:## classifier for the original data:cls_out1 &＃61; build_classifier(data&＃61;tf_X,labels&＃61;tf.ones(shape&＃61;batch_size))## reuse the classifier for generated datascope.reuse_variables()cls_out2 &＃61; build_classifier(data&＃61;gen_out1[1],labels&＃61;tf.zeros(shape&＃61;batch_size))init_op &＃61; tf.global_variables_initializer()


with tf.Session(graph&＃61;g) as sess:sess.run(tf.global_variables_initializer())file_writer &＃61; tf.summary.FileWriter(logdir&＃61;"C:/Users/Leo/Desktop/trained-model/logs/",graph&＃61;g)


在win&＃43;R输入cmd后输入命令&＃xff1a;

tensorboard --logdir&＃61;"C:/Users/Leo/Desktop/trained-model/logs"


接着复制这个链接到浏览器打开&＃xff1a;

欢迎扫码关注&＃xff1a;