机器学习的最优化问题

机器学习的最优化问题

机器学习中的大多数问题都可以转化为最优化问题。
过程为&＃xff1a;把一些经典问题&＃xff0c;转化为最优化数学模型&＃xff0c;然后用最优化方法求解。

机器学习和数据挖掘中&＃xff0c;哪些属于最优化问题&＃xff0c;见下表。

无约束的最优化问题&＃xff0c;一般是描述得到最优化目标函数f(x)&＃xff0c;然后求最值min/max f(x).
基本解法包括&＃xff1a;梯度下降法、牛顿法&＃xff08;DFP、BFGS&＃xff09;

在机器学习中&＃xff0c;将问题转化为最优化问题&＃xff0c;对应如下&＃xff1a;
线性回归、贝叶斯&＃xff08;最小二乘法&＃xff09;——最小误差、最小误差平方和
逻辑回归、&＃xff28;&＃xff2d;&＃xff2d;——最大似然
决策树——信息熵增益最大、信息熵增益率最大
SVM——最大间隔最小化

注意&＃xff1a;
关联规则&＃xff0c;不是最优化问题。

参考文章
&＃xff11;、http://blog.csdn.net/poson/article/details/8050979