首页    技术博客    PHP教程    数据库技术    前端开发   HTML5    Nginx    php论坛
新用户注册 | 会员登录
加入会员，解锁专属内容
取消
热门标签 | HotTags
当前位置:  开发笔记 > 人工智能 > 正文

【深度学习】常见的梯度下降的方法

作者：一根吃兔子的萝卜 | 来源：互联网 | 2023-05-25 09:32
批量梯度下降&＃xff08;Batch Gradient Descent&＃xff0c;BGD&＃xff09; 这个方法是当所有的数据都经过了计算之后再整体除以它&＃xff0c;即把所有样本的误差做
  1. 批量梯度下降&＃xff08;Batch Gradient Descent&＃xff0c;BGD&＃xff09;
    在这里插入图片描述
    这个方法是当所有的数据都经过了计算之后再整体除以它&＃xff0c;即把所有样本的误差做平均。这里我想提醒你&＃xff0c;在实际的开发中&＃xff0c;往往有百万甚至千万数量级的样本&＃xff0c;那这个更新的量就很恐怖了。所以就需要另一个办法&＃xff0c;随机梯度下降法。
  2. 随机梯度下降&＃xff08;Stochastic Gradient Descent&＃xff0c;SGD&＃xff09;
    随机梯度下降法的特点是&＃xff0c;每计算一个样本之后就要更新一次参数&＃xff0c;这样参数更新的频率
    就变高了。
    想想看&＃xff0c;每训练一条数据就更新一条参数&＃xff0c;会有什么好处呢&＃xff1f;对&＃xff0c;有的时候&＃xff0c;我们只需要
    训练集中的一部分数据&＃xff0c;就可以实现接近于使用全部数据训练的效果&＃xff0c;训练速度也大大提
    升。
    然而&＃xff0c;鱼和熊掌不可兼得&＃xff0c;SGD 虽然快&＃xff0c;也会存在一些问题。就比如&＃xff0c;训练数据中肯定会
    存在一些错误样本或者噪声数据&＃xff0c;那么在一次用到该数据的迭代中&＃xff0c;优化的方向肯定不是
    朝着最理想的方向前进的&＃xff0c;也就会导致训练效果&＃xff08;比如准确率&＃xff09;的下降。最极端的情况
    下&＃xff0c;就会导致模型无法得到全局最优&＃xff0c;而是陷入到局部最优。
  3. 小批量梯度下降&＃xff08;Mini-Batch Gradient Descent, MBGD&＃xff09;
    Mini-batch 的方法是目前主流使用最多的一种方式&＃xff0c;它每次使用一个固定数量的数据进行
    优化。
    这个固定数量&＃xff0c;我们称它为 batch size。batch size 较为常见的数量一般是 2 的 n 次方&＃xff0c;
    比如 32、128、512 等&＃xff0c;越小的 batch size 对应的更新速度就越快&＃xff0c;反之则越慢&＃xff0c;但是更
    新速度慢就不容易陷入局部最优。
    基于随机梯度下降法&＃xff0c;人们又提出了包括 momentum、nesterov momentum 等方法&＃xff0c;这部分知识同学们有兴趣点击这里可以自行查阅。
    梯度下降的min-batch越大越好么&＃xff1f;
  4. batch_size越大显存占用会越多&＃xff0c;可能会造成内存溢出问题&＃xff0c;此外由于一次读取太多的
    样本&＃xff0c;可能会造成迭代速度慢的问题。
  5. batch_size较大容易使模型收敛在局部最优点
  6. 此外过大的batch_size的可能会导致模型泛化能力较差的问题
    batch size太小的话&＃xff0c;那么每个batch之间的差异就会很大&＃xff0c;迭代的时候梯度震荡就会严重&＃xff0c;不利
    于收敛。
    batch size越大&＃xff0c;那么batch之间的差异越小&＃xff0c;梯度震荡小&＃xff0c;利于模型收敛。
    但是凡事有个限度&＃xff0c;如果batch size太大了&＃xff0c;训练过程就会一直沿着一个方向走&＃xff0c;从而陷入局部最
    优。

推荐阅读
author-avatar
一根吃兔子的萝卜
这个家伙很懒，什么也没留下！
Tags | 热门标签
RankList | 热门文章
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有