机器学习的持续探索与进展

基础

概率论-wiki

数据挖掘中所需的概率论与数理统计知识

理解 Bias 与 Variance 之间的权衡
//var是不同训练模型之间的差别，好比K-fold之中，如果不同模型之间差别很大（var大），也就是说他们都和自己的训练集与其他训练集不接近，所以，不同模型之间var很大->他们就都不是truth；而如果bias很大，不用细讲，那他们更不是truth

先验概率与后验概率

PR曲线、ROC曲线和AUC
详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解
//MLE隐含了参数取任何值的概率都一样，而MAP则考虑到了参数取不同值的概率是有差别的，有些值更容易取到，有些值不容易取到。比如扔十次硬币，十次都是正，那MLE估计得结果就是正的概率为1，但大家知道这明显不可能，所以要用到先验概率，就是上面所说，我们预先知道了取1几乎不可能

生成模型与判别模型

判别模型(Discriminative model)和生成模型(Generative model)

P、NP、NPC和NP-Hard相关概念的图形和解释

常见的几种最优化方法（梯度下降法、牛顿法、拟牛顿法、共轭梯度法等）

数值优化（Numerical Optimization）学习系列-线搜索方法（LineSearch）

训练集、测试集和验证集

Logistics

Logistic回归原理及公式推导

岭回归和lasso&＃8212;回归的拓展

多重共线性的解决方法之——岭回归与LASSO

Softmax

Softmax回归

SVM

支持向量机SVM（一）
支持向量机SVM（二）

SMO优化算法（Sequential minimal optimization）

深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件

支持向量机通俗导论（理解SVM的三层境界）

支持向量机(SVM)的特点与不足

K-Means

Canopy Clustering

Canopy算法聚类

Canopy Clustering（Canopy聚类）

算法杂货铺——k均值聚类(K-means)

深入浅出K-Means算法

基本Kmeans算法介绍及其实现

贝叶斯方法

算法杂货铺——分类算法之朴素贝叶斯分类(Naive Bayesian classification)

从贝叶斯方法谈到贝叶斯网络

朴素贝叶斯算法原理小结

超细致的贝叶斯决策论

从决策树学习谈到贝叶斯分类算法、EM、HMM

决策树

信息增益，信息增益率，Gini

决策树的特性及优缺点

频繁模式

FP Tree算法原理总结

主成分分析

奇异值分解（SVD）原理

机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用

特征降维-PCA（Principal Component Analysis）

PCA 降维算法详解 以及代码示例

主成分分析（Principal components analysis）-最大方差解释

图论与社交网络

并查集——求无向图的所有连通子图

EM算法

EM算法（Expectation Maximization Algorithm）详解

简单易学的机器学习算法——EM算法

感知机

感知机（Perceptron）

反向传播算法

前馈神经网络与反向传播算法（推导过程）

A Step by Step Backpropagation Example

AutoEncoder

深度学习教程之Autoencoder

玻尔兹曼机

受限玻尔兹曼机RBM最通俗易懂的教程

深度学习教程之受限玻耳兹曼机

深度信念网络

深度信念网络(Deep Belief Network)

深度信念神经网络DBN最通俗易懂的教程

机器学习——DBN深度信念网络详解

增强学习基础

强化学习（Reinforcement Learning, RL）初步介绍

Deep Reinforcement Learning 基础知识

强化学习学习笔记列表

增强学习Reinforcement Learning经典算法梳理1：policy and value iteration

多臂赌博机

从Multi-arm Bandits问题分析 &＃8211; RL进阶

多臂赌博机系列

综合

数据挖掘十大算法

Coursera-机器学习-Andrew NG

Build Intelligent Applications

台大李宏毅-线性代数、ML和DL

集体智慧编程

机器学习实战

deeplearning4j

学习相关

AI 传送门（很多深度学习资料、keras入门）

Albert-Lee (代表作：Python爬虫小白入门)

四去六进一 (代表作：机器学习(周志华西瓜书) 参考答案 总目录)

胡萝卜周博客 (各种资源软件)

龙哥盟飞龙blog(老哥疯狂翻译了一堆书和文档)

大学霸(网络攻防领域的老哥)

jerrylead (机器学习经典算法学习笔记)