吴恩达机器学习入门笔记14/15异常检测问题/推荐系统

• 选取大量正常样本训练P


• 少量正常样本和极少异常样本作为交叉验证集，尝试使用不同的$\epsilon$ε值使$F_1$F1​值最大


• 另一部分的少量正常样本和极少异常样本作为测试集


• 可以通过变化特征如取对数，降幂把样本的特征分布改变为高斯型，也可以组合特征使异常得以凸显

• 异常检测

  针对少量正样本(y=1)，用大量负样本(正常)学习p(x)值

  
  



• 监督学习

  大量正样本(异常样本)可以用来更新参数

  有大量的正样本和负样本也用监督学习

  
  

14.4 多元高斯分布

$\begin{array}{}\text{(14.1)}& p(X;\mu ,\mathrm{\Sigma })=\frac{1}{(2\pi {)}^{n\mathrm{/}2}\mathrm{\mid }\mathrm{\Sigma }{\mathrm{\mid }}^{1\mathrm{/}2}}exp(-\frac{1}{2}(X-\mu {)}^T{\mathrm{\Sigma }}^{-1}(X-\mu ))\end{array}$
p(X;\mu,\Sigma)=\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}exp(-\frac{1}{2}(X-\mu)^T\Sigma^{-1}(X-\mu))\tag{14.1}
p(X;μ,Σ)=(2π)n/2∣Σ∣1/21​exp(−21​(X−μ)TΣ−1(X−μ))(14.1)

改变协方差矩阵和均值可以捕捉不同的分布

样本数量m需要大于特征数量n，一般$m\ge10n$m≥10n使用

15.1 建立推荐系统的方法

15.1.1 基于内容的推荐算法

因为假设已经有电影评价特征量$x$x,学习得到用户特征量$\theta$θ

相当于多个参数向量的线性回归，去掉了样本总量m

估计用户的特征值$\theta$θ

• 快速协同过滤：同时计算得到$\theta$θ与$x$x的算法：结合两种代价函数

可计算用户j对电影i的评分预测

• 向量化实现协同过滤：$X\theta^T$XθT


• 推荐类似的电影：small$||x^{(i)}-x^{(j)}||$∣∣x(i)−x(j)∣∣


• 均值归一化：解决有一用户未给所有电影评分的问题（一列无取值）


•