深度学习的一些术语

神经元与神经网络

神经元本质上是一个IN/OUT函数，神经元内部常常使用sigmoid, tanh, ReLu等非线性函数。一个大的神经网络往往由许多个神经元组成。

Sigmoid的表达式及图形

ReLu的表达式及图形

监督学习

在训练过程中，所用到的数据都是加了标签的，这种训练学习的方式就叫作监督学习。比如在网络上有各种各样的图片，现在需要训练一个能够识别猫的模型，我们需要对图片进行分类，将是猫的图片放在一堆，其他图片放在另外一堆，这样就对图片加上了是不是属于猫这个标签，然后利用属于猫的那一堆图片来训练模型，最终就能完成任务。因为在学习过程中，所用到的数据都是加了标签的，所以这种学习方式也叫作监督学习。所以类似，就是训练中所用到的数据都是无标签的。

无监督学习

无监督学习也类似，就是在训练中所用到的数据都是无标签的。现在深度学习中用得最多效果最好的还是监督学习，或许在未来无监督学习将会成为主流。

结构化数据与非结构化数据

结构化数据通常是指基于数据库的数据，比如在一张数据表中，每一个实例中的数据结构都是一样的。

非结构化数据通常是指音频、图像、视频等数据。

CNN与RNN

CNN中文叫作深度神经网络，它将卷积结构放在神经网络中，可以很好的对图像进行处理。

RNN中文叫作循环神经网络，通常处理序列化的数据，如音频，视频等。