• 机器学习中的微积分基础
  • 夹逼定理及重要极限
  • 极限存在定理
  • 导数
    • 方向导数与梯度
    • 凸函数
  • 泰勒公式

机器学习中的微积分基础

夹逼定理及重要极限

当 x∈U(x0,r) 时，有g(x)<=f(x)<=h(x)成立，并且 limx→x0g(x)=A , limx→x0h(x)=A ,那么 limx→x0f(x)=A 。

由夹逼定理可以推出一个重要极限： limx→0sin(x)x=1

极限存在定理

数列

单调有界数列必有极限

导数

• 简单的说，导数就是曲线的斜率。是曲线变化快慢的反应。（微商）
• 二阶导数是斜率变化快慢的反应，表征的是曲线的凹凸性
  例如：房价变化的快慢，房价增速变慢，加速度

求导的基本公式：

例：
已知函数 f(x)=xx,x>0 ，求f(x)的最小值。（信息熵会用到）
解：
要求最小值，可以先求该函数的驻点。即求满足f’(x) = 0 的点
要求该函数的导数，可以利用两边去对数的方法。

令 t=f(x)=xx
两边取对数，有 lnt=lnxx=xlnx
两边对x求导，有 1tt′=lnx+1
要求 f′(x)=0 ，则要令 t′=0 ，又t>0，所以必有 lnx+1=0
求得 x=e−1
则 f(x)=e−1e
二次求导可知，该点为极小值点

方向导数与梯度

梯度的方向是函数在该点变化最快的方向

凸函数

泰勒公式

引用：
1: 夹逼定理
2: 导数表
3:方向导数与梯度
4:凸函数百度百科
5:凸函数好搜百科

参考：
7月算法