Python之TensorFlow的卷积神经网络5

　　一、卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一 [1-2] 。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）” [3] 。

　　二、上面说的感觉太专业化了，我们简单一点以图片为例。卷积神经网络就是通过平移的方式在一张图片上面，取一个1*1/3*3/5*5的方格。通过特征计算，得出下一个矩阵值（也就是提取后的特征图片）

　　通过上面两种方式，可以看出，卷积的效果就是从一张大的图片，提取成一张小的图片。

　　三、认识神经网络

　　感知机：
        有n个输入数据，通过权重与各数据的之间的计算和，比较激活函数结果，得出输出。
        解决分类问题
        一般采用多个感知机进行分类问题的处理
    神经元：
        就是感知机的别名
        多个神经元组成神经网络
        特点：
            输入向量的维度和输入神经元的个数相同
            每个连接都有权重
            同一层神经元之间没有连接
            由输入层、隐层、输出层组成
            第N层到第N-1层所有神经元连接也叫全连接
        组成：
            结构、激活函数、学习规则
    神经网络TensorFlow的API模块：
        1、tf.nn: 提供神经网络相关操作的支持，包括卷积（conv）等
        2、tf.layers: 主要提供高层的神经网络，主要和卷积相关，对tf.nn的经一步封装
        3、tf.contrib： tf.contrib.layers提供能够将计算图中的网络层、正则化、摘要操作（构建计算机图的高级操作），但是tf.contrib不稳定

　　网站：http://playground.tensorflow.org

　　四、浅层人工神经网络模型

　　浅层人工神经网络模型：
        softmax回归：
                        e^i
            公式：Si = ——————
                       ∑je^j
                Si：该分类的概率， e^i:e的全连接层的分类结果值的次方，∑je^j：所有e的全连接层的分类结果值的次方
        损失计算api：
              算法      策略            优化
            线性回归   均方误差        梯度下降
            逻辑回归   对数似然损失    梯度下降
            神经网络   交叉熵损失      反向传播算法(梯度下降)
            交叉熵损失：
                公式：Hy\'(y) = -∑yi\'log(yi)
                               i
                yi\':真实结果，yi：softmax结果
                衡量两者差异的一种方式
                反向传播：
                    正向传播：输出经过一层一层计算得出结果
                    反向传播：从损失计算开始，梯度下降更新权重
            API:
                特征加权：
                    tf.matmul(, , ) + bias
                    return:全连接结果，供交叉损失计算
                    不需要激活函数
                softmax计算、交叉熵：
                    tf.nn.softmax_cross_entropy_with_logits(, , )
                    labels:标签值（真实值）
                    logits:样本加权过后的值
                    return:返回损失值列表
                    计算logits与labels之间的交叉损失熵
                损失值列表平均值：
                    tf.reduce_mean()
                    计算张量的尺寸的元素平均值
        其他api：
            损失下降（梯度下降）：
                tf.train.GradientDescentOptimizer()
                learning_rate:学习率
                return:梯度下降OP
        准确率计算：
            equal_list = tf.equal(, )
            accuracy = tf.reduce_mean()
        Mnist数据集神经网络实现流程：
            1、准备数据
            2、全连接计算结果
            3、损失优化
            4、模型评估（计算准确性）