热门标签 | HotTags
当前位置:  开发笔记 > 人工智能 > 正文

AcceleratedProximalGradientMethod/FISTA

机器学习中的优化问题是一个长久而古老的问题,下面介绍一种经典方法:APG方法(或者称为FISTA方法)的步骤为:迭代复杂度为:

机器学习中的优化问题是一个长久而古老的问题,下面介绍一种经典方法:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

APG方法(或者称为FISTA方法)的步骤为:
在这里插入图片描述
迭代复杂度为:

F(αk)−F(α)≤O(1k2)F(\alpha^{k})-F(\alpha)\leq O(\frac{1}{k^2})F(αk)F(α)O(k21).

step3中等式第二项称为momentum of sequence {αk}k=1∞\{\alpha_{k}\}_{k=1}^{\infty}{αk}k=1.

尽管APG方法具有很强的迭代复杂度,但对于实际应用来说,它仍然不够有效。在下面,我们描述了几种著名的策略,使APG方法实际有效。

1.Backtracking Strategy
在这里插入图片描述
2.Decreasing Strategy for LkL_{k}Lk.

3. Restarting Strategy
在这里插入图片描述


推荐阅读
author-avatar
谁的FrankyCH
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有