损失函数/成本函数/目标函数的区别

https://mp.weixin.qq.com/s/nkfQnXIwDNPtcZEVQyTvZw

导读

在我刚开始学机器学习的时候也是闹不懂这三者的区别&＃xff0c;当然&＃xff0c;嘿嘿&＃xff0c;初学者的你们是不是也有那么一丢丢迷茫呢&＃xff1f;那么今天咱们就把这样的问题解决了&＃xff01;

损失函数

损失函数一般指的是针对单个样本 i 做的损失&＃xff0c;公式可以表示为&＃xff1a;

当然&＃xff0c;只是举个例子&＃xff0c;如果较真的话&＃xff0c;还可以有交叉熵损失函数等。

成本函数

成本函数一般是数据集上总的成本函数&＃xff0c;一般针对整体&＃xff0c;根据上面的例子&＃xff0c;这里的成本函数可以表示为

当然我们可以加上正则项

目标函数

目标函数是一个很广泛的称呼&＃xff0c;我们一般都是先确定目标函数&＃xff0c;然后再去优化它。比如在不同的任务中&＃xff0c;目标函数可以是

• 最大化后验概率MAP(比如朴素贝叶斯)

• 最大化适应函数(遗传算法)

• 最大化回报/值函数&＃xff08;增强学习&＃xff09;

• 最大化信息增益/减小子节点纯度(CART 决策树分类器)

• 最小化平方差错误成本&＃xff08;或损失&＃xff09;函数&＃xff08;CART&＃xff0c;决策树回归&＃xff0c;线性回归&＃xff0c;线性适应神经元&＃xff09;

• 最大化log-相似度或者最小化信息熵损失&＃xff08;或者成本&＃xff09;函数

• 最小化hinge损失函数&＃xff08;支持向量机SVM&＃xff09;

• etc.

References

忆臻 知乎回答

https://zhuanlan.zhihu.com/p/49323974

国外资料

https://www.quora.com/What-is-the-difference-between-a-cost-function-and-a-loss-function-in-machine-learning