既然使用神经网络也可以解决分类问题，那SVM、决策树这些算法还有什么意义呢？...

先说下结论&＃xff1a;没有一个模型是万能的&＃xff0c;需要根据数据选择适合的模型。

在机器学习中&＃xff0c;数据大概可以分成四大类&＃xff1a;图像 (Image)&＃xff0c;序列(Sequence)&＃xff0c;图(Graph) 和表格(Tabular) 数据。其中&＃xff0c;前3类数据有比较明显的模式&＃xff0c;比如图像和图的空间局部性&＃xff0c;序列的上下文关系和时序依赖等。而表格数据常见于各种工业界的任务&＃xff0c;如广告点击率预测&＃xff0c;推荐系统等。在表格数据中&＃xff0c;每个特征表示一个属性&＃xff0c;如性别&＃xff0c;价格等等&＃xff0c;特征之间一般没有明显且通用的模式。

神经网络适合的是前三类数据&＃xff0c;也就是有明显模式的数据。因为我们可以根据数据的模式&＃xff0c;设计对应的网络结构&＃xff0c;从而高效地自动抽取“高级”的特征表达。如常见的 CNN (卷积神经网络) 就是为图像而设计的&＃xff0c;RNN (循环神经网络) 为序列数据而设计的。而表格数据&＃xff0c;因没有明显的模式&＃xff0c;非要用神经网络的话&＃xff0c;就只能用低效的全连接网络&＃xff0c;一般效果都不太好。在实践中&＃xff0c;对于表格数据&＃xff0c;除了专门对特定任务设计的网络结构如DeepFM等&＃xff0c;更多时候还是用传统机器学习模型。尤其是 GBDT (梯度提升树)&＃xff0c;因其自动的特征选择能力及动态的模型复杂度&＃xff0c;算得上是一个万金油模型&＃xff0c;在各种类型的表格数据上都表现很好。但对于表格数据而言&＃xff0c;其实特征工程才是更关键的。在给定数据的情况下&＃xff0c;模型决定了下限&＃xff0c;特征决定了上限。特征工程类似于神经网络的结构设计&＃xff0c;目的是把先验知识融入数据&＃xff0c;并且让模型更好地理解数据&＃xff0c;让模型可以学得更好。

另外&＃xff0c;神经网络实质上不算是一个模型&＃xff0c;而是一类可以自由“搭积木”的模型。结构不同的神经网络可以认为是不同的模型了。

总结下&＃xff0c;no free lunch&＃xff0c;没有一个万能的模型&＃xff0c;可以直接用于各种数据。有多少人工就有多少智能&＃xff1a;用神经网络的话&＃xff0c;你需要结构设计&＃xff1b;而用传统模型的话&＃xff0c;你需要特征工程。

神经网络的优势要在数据量很大&＃xff0c;计算力很强的时候才能体现&＃xff0c;数据量小的话&＃xff0c;很多任务上的表现都不是很好。

SVM属于非参数方法&＃xff0c;拥有很强的理论基础和统计保障。损失函数拥有全局最优解&＃xff0c;而且当数据量不大的时候&＃xff0c;收敛速度很快&＃xff0c;超参数即便需要调整&＃xff0c;但也有具体的含义&＃xff0c;比如高斯kernel的大小可以理解为数据点之间的中位数距离(Median heuristic)。在神经网络普及之前&＃xff0c;引领了机器学习的主流&＃xff0c;那时候理论和实验都同样重要。

决策树也是非参数方法之一。我的经验告诉我&＃xff0c;很多时候随机森林要比SVM要好&＃xff0c;而且森林的训练时间可以很短&＃xff0c;但感觉超参数调节上不是很intuitive&＃xff0c;几棵树&＃xff1f;收敛条件&＃xff1f;都需要一个个试。

神秘网络拥有很多局部最优&＃xff0c;而且理论上过拟合很容易&＃xff0c;但各种tricks神奇的避免了这些理论弊端&＃xff0c;但很多时候人们并不清楚它的工作和训练原理&＃xff0c;而且泛化能力为什么高(各种竞赛结果)/低(对抗样本)&＃xff0c;也没有解释。在给定计算量下&＃xff0c;神经网络基本上没办法和传统方法比。好在GPU解决了这个弊端。

总之&＃xff0c;当数据量小的时候&＃xff0c;传统方法依靠理论保障(kernel methods)&＃xff0c;或者用先验(贝叶斯方法)来控制解的空间&＃xff0c;通常会有很好的表现。

非监督学习领域&＃xff0c;虽然神经网络也被用作模型一部分&＃xff0c;但主要还是以方程近似的角色体现。GAN&＃xff0c;Normalizing flow, VAE&＃xff0c;energy-based models... 这些方法还依靠统计理论。比如&＃xff0c;kernel methods加上神经网络可以用于密度估计&＃xff0c;但主要的原理还是建立在传统体系下(max likelihood&＃xff0c;score matching等)&＃xff0c;神经网络只不过是更复杂的kernel超参数而已。

假设检验是非常重要的科研工具&＃xff0c;用在很多关键领域上。医学上判断药物是否有作用&＃xff0c;社会学上判断一项政策是否改变了社会参数&＃xff0c;金融上判断两只产品的之间是否有关联&＃xff0c;机器学习上判断两个GAN生成的图片那个更真实…都需要用到假设检验。

大家熟悉的t-test, rank test, K-S test等都只适用于一维数据&＃xff0c;而且数据的收集可能不理想(比如长期监测的病人提前退出测试)&＃xff0c;数据本身并不满足参数性假设(如残差为高斯分布)…

如果要开发一项检验方法&＃xff0c;需要控制Type-1 error&＃xff0c;也就是当H0为真的时候&＃xff0c;错误拒绝H0的概率。这个时候神经网络这个黑箱就成了很大的障碍&＃xff0c;因为没有任何理论基础。而kernel方法依靠深厚的理论基础&＃xff0c;可以在几乎没有任何数据分布假设下&＃xff0c;从数学上给出Type-1 error的保障&＃xff0c;也就可以被用在很多关键领域的检测。同时&＃xff0c;数据收集不理想的时候&＃xff0c;也可以通过一大堆数学推倒来实现这些test。如果有了黑箱&＃xff0c;那基本就相当于把理论给扔了。