贝叶斯定理与机器学习

概率运算

1. 求事件A或B发生的概率&＃xff1a;$A\bigcup B\to P(A\&＃43;B)\&＃61;P(A)\&＃43;P(B)$
2. 求事件A且B发生的概率&＃xff1a;$A\bigcap B\to P(A,B)\&＃61;P(A)P(B)$
3. 求事件A不发生的概率&＃xff1a;Aˉ→P(Aˉ)&＃61;1−P(A)\bar A \to P(\bar A) &＃61; 1 - P(A)Aˉ→P(Aˉ)&＃61;1−P(A)
4. 求在事件B发生的条件下&＃xff0c;事件A发生的概率&＃xff1a;$P(A|B)\&＃61;P(A,B)/P(B)$
5. 求在事件A发生的条件下&＃xff0c;事件B的概率&＃xff1a;$P(B|A)\&＃61;P(A,B)/P(A)$
6. 全概率公式&＃xff1a;P(A)&＃61;P(A∣B)P(B)&＃43;P(A∣Bˉ)P(Bˉ)P(A) &＃61; P(A|B)P(B) &＃43;P(A|\bar B)P(\bar B)P(A)&＃61;P(A∣B)P(B)&＃43;P(A∣Bˉ)P(Bˉ)

贝叶斯公式

P(A∣B)&＃61;P(B∣A)P(A)P(B∣A)p(A)&＃43;P(B∣Aˉ)P(Aˉ)P(A|B) &＃61; {P(B|A)P(A) \over {P(B|A)p(A) &＃43;P(B|\bar A)P(\bar A)}}P(A∣B)&＃61;P(B∣A)p(A)&＃43;P(B∣Aˉ)P(Aˉ)P(B∣A)P(A)​

证明
$P(A,B)\&＃61;P(B,A)$
$P(A|B)P(B)\&＃61;P(B|A)P(A)$
P(A∣B)&＃61;P(B∣A)P(A)p(B)P(A|B) &＃61; {P(B|A)P(A) \over {p(B)}}P(A∣B)&＃61;p(B)P(B∣A)P(A)​
P(A∣B)&＃61;P(B∣A)P(A)p(B∣A)P(A)&＃43;P(B∣Aˉ)P(Aˉ)P(A|B) &＃61; {P(B|A)P(A) \over {p(B|A)P(A)&＃43;P(B|\bar A)P(\bar A)}}P(A∣B)&＃61;p(B∣A)P(A)&＃43;P(B∣Aˉ)P(Aˉ)P(B∣A)P(A)​

其中B代表着证据或是数据&＃xff0c;A代表着事件&＃xff0c;P(A)称之为先验概率&＃xff0c;P(A|B)称之为后验概率。

贝叶斯推理

三门问题 ¹

问题&＃xff1a;
参赛者会看见三扇关闭了的门&＃xff0c;其中一扇的后面有一辆汽车或者是奖品&＃xff0c;选中后面有车的那扇门就可以赢得该汽车或奖品&＃xff0c;而另外两扇门后面则各藏有一隻山羊。当参赛者选定了一扇门&＃xff0c;但未去开启它的时候&＃xff0c;知道门后情形的节目主持人会开启剩下两扇门的其中一扇&＃xff0c;露出其中一隻山羊。主持人其后会问参赛者要不要换另一扇仍然关上的门。问题是&＃xff1a;换另一扇门会否增加参赛者赢得汽车的机率&＃xff1f;

求证
假设你已经选择了门1
开门前&＃xff1a;
设门1,2,3后有车的概率分别为$P(1),P(2),P(3)$,选中车概率为&＃xff1a;P(1)&＃61;P(2)&＃61;P(3)&＃61;13P(1)&＃61;P(2)&＃61;P(3) &＃61; {1 \over 3}P(1)&＃61;P(2)&＃61;P(3)&＃61;31​,其中的$P(n)$为先验概率
开门后&＃xff1a;
P(2∣3)&＃61;P(3∣2)P(2)p(3∣2)P(2)&＃43;P(3∣1)P(1)&＃43;&＃43;P(3∣3)P(3)P(2|3) &＃61; {P(3|2)P(2) \over {p(3|2)P(2)&＃43;P(3|1)P(1)&＃43;&＃43;P(3|3)P(3)}}P(2∣3)&＃61;p(3∣2)P(2)&＃43;P(3∣1)P(1)&＃43;&＃43;P(3∣3)P(3)P(3∣2)P(2)​
&＃61;1⋅131⋅13&＃43;12⋅13&＃43;0⋅13&＃61; {1 \cdot {1\over 3}\over {1 \cdot {1 \over 3}&＃43;{{1 \over 2} \cdot{1 \over 3}}&＃43;{0 \cdot {1 \over 3}}}}&＃61;1⋅31​&＃43;21​⋅31​&＃43;0⋅31​1⋅31​​
&＃61;23&＃61;{2 \over 3}&＃61;32​
P(1∣3)&＃61;13P(1|3) &＃61; {1 \over 3}P(1∣3)&＃61;31​
因为$P(1|3)<P(2|3)$,所以选择换门。

贝叶斯推理与机器学习

奥卡姆剃刀²

根据定义&＃xff0c;任何假设都会带来犯错误概率的增加&＃xff1b;如果一个假设不能增加理论的正确率&＃xff0c;那么它的唯一作用就是增加整个理论为错误的概率

在如上的四个拟合函数中&＃xff0c;在能解释问题的情况下&＃xff0c;我们选择有3个参数的f3(x)f_3(x)f3​(x)函数。因为假设越多&＃xff0c;参数越多&＃xff0c;则这个函数就越脆弱。

修改代价函数
修改前:Cost&＃61;1mΣ(Y−Yp)2Cost &＃61; {1 \over m}\Sigma(Y-Y_p)^2Cost&＃61;m1​Σ(Y−Yp​)2
修改后:Cost&＃61;1mΣ(Y−Yp)2&＃43;f(m)Cost &＃61;{1 \over m}\Sigma(Y-Y_p)^2 &＃43;f(m)Cost&＃61;m1​Σ(Y−Yp​)2&＃43;f(m)
举例&＃xff1a;Cost&＃61;1mΣ(Y−Yp)2&＃43;(W12&＃43;W22&＃43;⋯&＃43;Wm2)Cost &＃61;{1 \over m}\Sigma(Y-Y_p)^2 &＃43;(W_1^2&＃43;W_2^2&＃43;\cdots &＃43;W_m^2)Cost&＃61;m1​Σ(Y−Yp​)2&＃43;(W12​&＃43;W22​&＃43;⋯&＃43;Wm2​)
将代价函数增加了一项关于模型的函数&＃xff0c;在模型趋向于复杂时&＃xff0c;代价函数值也相应增加

决策理论