[读书笔记]MITOptimizationforMachineLearning/Chapter1

本书cdsn下载地址：http://download.csdn.net/detail/cuijianzhu/4544796
这本书总结了机器学习中常用的最优化方法。

1. 针对机器学习中出现的问题
2. 不深究理论部分，比如收敛理论。一个观点：机器学习的结果看重结果的可用性，而不是优化问题的精确性。模糊建模+粗糙学习 可以得到一个可用的结果，对机器学习这已经够用。

第一章：最优化和机器学习介绍

这章干货不多，都是总结性的内容。不过大师与普通人的区别就是可以随手拈来，即使对细节不甚了解也能说出一二。往往这样的人反而容易让别人印象深刻，在人际交往中顺风顺水。

SVM as a Optimization Problem

dual问题

对偶问题，只用到X^T X, 只要有kernal函数k(x,y), 可以转化成kernal形式
对求得的alpha，用预测

经典求解方法

求对偶问题，使用不同的alpha选择策略，在一个较小的alpha参数集合上迭代更新。

直接方法

sgd + subgradient次梯度

正则约束优化问题

minimize φγ(w) := f(w) + γr(w)
w∈Rn
一般r会选择一个让w趋向一个比较简单结构的约束。比如

• norm1 ==> 稀疏性
• total variation(TV) ==》 图像中有大片同色区域
• 矩阵的谱范数==》 矩阵低秩
• group regularize ==》 部分变量同时存在或同时不存在，group内部不care稀疏性，group间有稀疏性

优化算法

把f(w)局部拟合一个w的二次函数，再用一些特殊的技巧解决正则项的二次优化问题

• priximity

最后：谁能告诉我blog中怎么输入公式？