转载&＃xff1a;https://zhuanlan.zhihu.com/p/28488510
今年一月份&＃xff0c;Stanford大学新开了一门课专门讲如何用tensorflow做科研&＃xff0c;这门课从最基础的计算图讲起&＃xff0c;扩展到非常流行的算法&＃xff0c;如neural style&＃xff0c;seq2seq等等&＃xff0c;通过课程和作业&＃xff0c;能够掌握tensorflow大部分的用法。因为太久没有使用tensorflow了&＃xff0c;所以决定学学这门课重新复习一下&＃xff0c;这是课程网站和github&＃xff0c;没有官方的视频&＃xff0c;youtube和b站上有其他人根据slide录的视频。
我会学习这门课&＃xff0c;然后记录笔记&＃xff0c;完成github上的代码作为练习&＃xff0c;同时会对代码中一些错误进行修正。
下面是lecture1的学习笔记。
介绍
深度学习后面的数学概念已经存在10多年&＃xff0c;但是深度学习框架是最近几年才出来的。现在大量的框架在灵活性上和便于工业界使用上做了权衡&＃xff0c;灵活性对于科研非常重要&＃xff0c;但是对于工业界太慢了&＃xff0c;但是换句话说&＃xff0c;足够快&＃xff0c;能够用于分布式的框架只适用于特别的网络结构&＃xff0c;这对科研又不够灵活。这留给了使用者一个矛盾的境地&＃xff1a;我们是否应该尝试用没有那么灵活的框架做科研&＃xff0c;这样当应用于工业界的时候&＃xff0c;我们不必再重新用另外一个框架复现代码&＃xff1b;或者是我们是否应该在做研究的时候使用一个框架&＃xff0c;在工业界应用的时候使用另外一个完全不同的框架呢&＃xff1f;
如果选择前者&＃xff0c;那么做研究的时候并不方便尝试很多不同类型的网络&＃xff0c;如果选择后者&＃xff0c;我们必须要重新复现代码&＃xff0c;这容易导致实验结果和工业应用上不同&＃xff0c;我们也需要付出很多精力去学习。
TensorFlow的出现希望解决这个矛盾的事情。
什么是TensorFlow?
- 使用数据流和图来做数值计算的开源软件&＃xff0c;用于机器智能
- 主要是由Google Brain团队开发用于机器学习和深度神经网络的研究
- 能够应用于广泛的领域
虽然TensorFlow是开源的&＃xff0c;但是只有GitHub上的部分是开源的&＃xff0c;Google还有一个内部版本&＃xff0c;官方说法是Google的内部版本有很多转为其定制的工具和服务&＃xff0c;大众没有需求使用&＃xff0c;并不是Google的开源没有诚意&＃xff0c;希望如此吧。
为什么使用TensorFlow&＃xff1f;
- Python API&＃xff0c;这是大多数深度学习框架都有的
- 能够使用多个CPU和GPU&＃xff0c;最重要的是能够很容易部署到服务器上和移动端&＃xff0c;这是很多框架不能做的事
- 足够灵活&＃xff0c;非常低层
- tensorboard可视化非常好
- Checkpoints作为实验管理&＃xff0c;能够随时保存模型
- 自动微分
- 庞大的社区
- 大量优秀的项目正在使用TensorFlow
Getting Started
tensor
0-d tensor&＃xff1a;标量&＃xff0c;1-d tensor&＃xff1a;向量&＃xff0c;2-d tensor&＃xff1a;矩阵
数据流图
import tensorflow as tf
a &＃61; tf.add(3, 5)
print(a)
>> Tensor("Add: 0", shape&＃61;(), dtype&＃61;int32)
并不能得到8&＃xff0c;需要开启session&＃xff0c;在session中操作能够被执行&＃xff0c;Tensor能够被计算&＃xff0c;这点有点反人类&＃xff0c;跟一般的推断式编程是不同的&＃xff0c;比如PyTorch
import tensorflow as tf
a &＃61; tf.add(3, 5)
sess &＃61; tf.Session()
print(sess.run(a))
sess.close()
>> 8
当然可以使用一种更高效的写法
import tensorflow as tf
a &＃61; tf.add(3, 5)
with tf.Session() as sess:print(sess.run(a))
>> 8
当然可以建立更复杂的计算图如下
x &＃61; 2
y &＃61; 3
add_op &＃61; tf.add(x, y)
mul_op &＃61; tf.mul(x, y)
useless &＃61; tf.mul(x, add_op)
pow_op &＃61; tf.pow(add_op, mul_op)
with tf.Session() as sess:z, not_useless &＃61; sess.run([op3, useless])
在&＃96;sess.run&＃96;调用的时候使用[]来得到多个结果。
也可以将图分成很多小块&＃xff0c;让他们在多个CPU和GPU下并行
可以将计算图的一部分放在特定的GPU或者CPU下
with tf.device(&＃39;/gpu:2&＃39;):a &＃61; tf.constant([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]], name&＃61;&＃39;a&＃39;)b &＃61; tf.constant([[1.0, 2.0], [3.0, 4.0], [5.0, 6.0]], name&＃61;&＃39;b&＃39;)c &＃61; tf.matmul(a, b)sess &＃61; tf.Session(config&＃61;tf.ConfigProto(log_device_placement&＃61;True))
print(sess.run(c))
尽量不要使用多个计算图&＃xff0c;因为每个计算图需要一个session&＃xff0c;而每个session会使用所有的显卡资源&＃xff0c;必须要用python/numpy才能在两个图之间传递数据&＃xff0c;最好在一个图中建立两个不联通的子图
为什么使用Graph
1. 节约计算资源&＃xff0c;每次运算仅仅只需运行与结果有关的子图
2. 可以将图分成小块进行自动微分
3. 方便部署在多个设备上
4. 很多机器学习算法都能够被可视化为图的结构
以上就是第一个lecture的学习笔记。
本文的内容和代码都在该github上
欢迎访问我的博客
欢迎查看我的知乎专栏&＃xff0c;深度炼丹
京公网安备 11010802041100号