统计与机器学习的异同

学习笔记，仅供参考，有错必纠

摘自：机器学习-算法背后的理论与优化;

统计与机器学习

自机器学习出现以来，关于它和统计之间关系的讨论就没有停止过，贯穿整个机器学习的发展历史。

机器学习是源自于统计还是完全独立的一门学科?

机器学习从统计中借鉴了许多东西，但在实际使用中与统计似乎又有着很大的不同。关于两者之间的不同之处，如果在网上搜索一下，就会找到许多不同的答案。例如，Robert Tibshirani(正则化方面的大师，Lasso的提出者)就说Machine learning is glorified statistics。同时也有人说机器学习是信息时代的统计，或者说机器学习是适用于大数据的统计。可能还会找到一些从算法角度来总结两者不同的说法，如机器学习就是只做统计模型不做假设检验机器学习会告诉你预测结果和准确率，而统计会额外加一句你重复100次我做的事情，至少有95次会得到和我相同的结果。这个问题可能至今都还没有一个十分清晰明确的答案。

不同的人会有不同的观点，我们认为对于统计和机器学习重叠的部分，二者的不同之处并非具体