李宏毅机器学习笔记：无监督学习之线性方法

### 无监督学习
无监督学习主要分为两大类：
1. **聚类与降维**：目的是将复杂的数据简化为更易于管理的形式。
- 聚类：将数据点分组到不同的类别中，常用的方法包括k-means和层次聚类（Hierarchical Agglomerative Clustering, HAC）。
- **k-means**：首先随机选择k个中心点，然后将每个数据点分配给最近的中心点，随后更新中心点位置，这一过程反复执行直至模型收敛。
- **HAC**：基于数据点间的相似度构建一棵树，逐步合并相似度最高的簇。
2. **生成模型**：通过输入一个代码或向量，生成一个新的数据样本。

为了更准确地描述样本特征，除了简单的聚类之外，还可以使用向量分布来表示样本的特征，这通常涉及到特征选择和主成分分析（PCA）等方法。

### PCA详解
PCA是一种常用的降维技术，其核心思想是在保持数据最大方差的前提下减少数据维度。
1. **目标**：最大化数据在投影方向上的方差。
2. **优化函数**：通过最大化w的转置乘以协方差矩阵再乘以w的值来寻找最优的投影方向w。
3. **求解方法**：可以通过神经网络的梯度下降法或直接求解特征向量来实现。
4. **后续维度的选择**：后续的投影方向应为协方差矩阵第二大特征值对应的特征向量，以此类推。
5. **PCA去相关性**：PCA能够确保投影后的数据在新坐标系中各维度间互不相关，有助于减少模型参数。
6. **重构误差最小化**：PCA也可视为通过多个组件线性组合原始样本，以最小化重构误差。
7. **PCA的局限性**：
- PCA倾向于将所有样本映射到方差最大的维度上，可能导致不同标签的样本混淆。
- 线性性质限制了PCA处理非线性结构的能力。
8. **PCA的变体**：除了标准PCA，还有多种变体如MDS、PPCA、KPCA、CCA、ICA等，每种都有其特定的应用场景和优势。

### 矩阵分解在推荐系统中的应用
在推荐系统中，矩阵分解技术被广泛应用于预测用户对物品的评分，通过分解用户-物品评分矩阵来估计缺失的评分值。常见的方法包括SVD及其变体，这些方法不仅能够处理大规模稀疏矩阵，还能通过引入偏移向量提高预测准确性。

总之，无监督学习中的线性方法提供了强大的工具，帮助我们理解复杂数据集的本质，无论是通过聚类简化数据结构，还是通过PCA进行有效的降维处理，都能在实际问题中发挥重要作用。