微软头条实习生分享深度学习自学指南

作者 Sanny Kim 
郭一璞 编译 
量子位 出品 | 公众号 QbitAI

跟着网络资料自学、刷MOOC是许多人学深度学习的方式&＃xff0c;但深度学习相关资源众多&＃xff0c;应该从哪儿开始学呢&＃xff1f;

富有自学经验的GitHub用户Sanny Kim贡献出了一份深度学习自学指南。

她自学成才&＃xff0c;有Udacity、deeplearning.ai、Coursera的一大堆课程认证&＃xff0c;甚至连大学都是上的以自学、MOOC著称的Minerva大学&＃xff0c;自学卓有成效&＃xff0c;曾经在微软做实习软件工程师&＃xff0c;现在则是字节跳动&＃xff08;头条&＃xff09;AI实验室的机器学习实习生。

下面&＃xff0c;就让我们来看看这份自学指南都包含什么内容吧。由于资料课程非常多&＃xff0c;建议大家存下来慢慢看。

学好Python和数学

作为深度学习从业者&＃xff0c;最重要的基础&＃xff0c;一是代码&＃xff0c;二是数学。

代码的选择毋庸置疑&＃xff0c;一定要学Python&＃xff0c;毕竟这是当今深度学习界最火的语言&＃xff0c;没有之一。

而数学一样重要&＃xff0c;虽然数学常常难倒英雄汉&＃xff0c;不过如果你只是想把深度学习拿来在你的领域试用的话&＃xff0c;暂时不需要搞明白太多数学基础&＃xff0c;

但是&＃xff0c;Sanny Kim建议&＃xff0c;熟知数学理论基础&＃xff0c;使用深度学习框架会更易懂&＃xff0c;因此需要一定的微积分、线性代数和统计学基础&＃xff0c;

学Python

Python可以选择下面的课程&＃xff1a;

MIT 6.0001课程
https://www.youtube.com/watch?v&＃61;ytpJdnlu9ug&list&＃61;PLUl4u3cNGP63WbdFxL8giv4yhgdMGaZNA

CodeCademy
https://www.codecademy.com/learn/learn-python

如何像计算机科学家一样思考
http://interactivepython.org/runestone/static/thinkcspy/index.html
备用链接&＃xff1a;https://runestone.academy

哈佛CS50
https://www.edx.org/course/cs50s-introduction-to-computer-science

哈佛CS50课程里Python讲得比较少&＃xff0c;如果你喜欢阅读&＃xff0c;可交互的在线书《如何像计算机科学家一样思考》会更适合你。

学微积分

微积分方面有几个必须搞懂的概念&＃xff1a;微分&＃xff0c;链式法则和偏导数。

数学基础好、想要快速学习微积分的同学请戳&＃xff1a;

MIT 18.01 单变量微积分
https://www.youtube.com/watch?v&＃61;jbIQW0gkgxo&t&＃61;1s

数学不太好的同学请戳&＃xff1a;

伦纳德教授的微积分1
https://www.youtube.com/watch?v&＃61;fYyARMqiaag&list&＃61;PLF797E961509B4EB5

已经学过需要复习一下&＃xff0c;或者几乎放弃治疗、只想简单了解一下的同学请戳&＃xff1a;

可汗学院微积分1
https://www.khanacademy.org/math/calculus-1

补充材料&＃xff1a;

3Blue1Brown 微积分的本质
https://www.youtube.com/watch?v&＃61;WUvTyaaNkzM&list&＃61;PLZHQObOWTQDMsr9K-rj53DwVRMYO3t5Yr

学线性代数

线代方面有几个必须搞懂的概念&＃xff1a;向量&＃xff0c;矩阵&＃xff0c;矩阵运算&＃xff0c;包括加减乘除逆运算。

还是一样&＃xff0c;想认认真真搞懂线代的同学请戳&＃xff1a;

MIT 18.06 线性代数
https://www.youtube.com/watch?v&＃61;ZK3O402wf1c&list&＃61;PLE7DDD91010BC51F8

走马观花的同学请戳&＃xff1a;

可汗学院线性代数
https://www.khanacademy.org/math/linear-algebra

戳这个来了解更多实际的写代码方法&＃xff1a;

Rachel Thomas的计算线性代数
https://www.youtube.com/watch?v&＃61;8iGzBMboA0I&index&＃61;1&list&＃61;PLtmWHNX-gukIc92m1K0P6bIOnZb-mg0hY

补充材料&＃xff1a;

斯坦福CS229线性代数复习资料
http://cs229.stanford.edu/section/cs229-linalg.pdf

3Blue1Brown 线性代数的本质
https://www.youtube.com/watch?v&＃61;kjBOesZCoqc&list&＃61;PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab

概率与统计

概率统计方面有几个必须搞懂的概念&＃xff1a;平均值&＃xff0c;标准差&＃xff0c;分布&＃xff0c;采样&＃xff0c;贝叶斯定理。

哈佛统计110
https://www.youtube.com/watch?v&＃61;KbB0FjPg0mw&list&＃61;PL2SOU6wwxB0uwwH80KTQ6ht66KWxbzTIo

可汗学院概率统计
https://www.khanacademy.org/math/statistics-probability

Brandon Foltz统计学101
https://www.youtube.com/user/BCFoltz/videos

补充材料&＃xff1a;

斯坦福CS229概率统计复习资料
http://cs229.stanford.edu/section/cs229-prob.pdf

列了这么多数学课&＃xff0c;你要是觉得上面这三门课学起来太累&＃xff0c;可以只看和深度学习、机器学习相关的部分&＃xff0c;那么安利你学习下面这两份材料&＃xff1a;

深度学习需要的矩阵微积分
作者&＃xff1a;Terence Parr&＃xff0c;Jeremy Howard
https://arxiv.org/abs/1802.01528
不想看pdf的手机用户可戳&＃xff1a;https://explained.ai/matrix-calculus/index.html

MIT 18.065 数据分析、信号处理和机器学习中的矩阵方法&＃xff08;2018&＃xff09;
作者&＃xff1a;Gilbert Strang
https://www.youtube.com/playlist?list&＃61;PLUl4u3cNGP63oMNUHXqIUcrkS2PivhN3k

当然&＃xff0c;因为数学嘛&＃xff0c;毕竟是门大杀器&＃xff0c;要是实在学不下去&＃xff0c;可以先开始学下面的深度学习部分&＃xff0c;看到哪儿原理不懂了&＃xff0c;再回来翻资料理解一下。

深度学习入门

现在&＃xff0c;恭喜你学会了Python&＃xff0c;还搞懂了一部分数学理论知识&＃xff0c;终于可以开始学正儿八经的深度学习了。

深度学习入门非常重要的两套课程&＃xff0c;分别是

吴恩达的deeplearning.ai
https://www.coursera.org/specializations/deep-learning

Jeremy Howard和Rachel Thomas的fast.ai
http://course.fast.ai/

这两份资料在深度学习MOOC领域几乎无人不知无人不晓了&＃xff0c;吴恩达的课程重视理论解释&＃xff0c;fast.ai更侧重编码&＃xff0c;Sanny Kim是这样学这两套课程的&＃xff1a;

1、先看deeplearning.ai的1、2、4、5&＃xff1b;
2、在看fast.ai的第一部分&＃xff1b;
3、看deeplearning.ai的3&＃xff1b;
4、&＃xff08;可选&＃xff09;做deeplearning.ai的作业&＃xff1b;
5、把上面的1~4复习一遍。

fast.ai从第二部分开始相对比较难&＃xff0c;建议后面再学。另外&＃xff0c;想充分利用fast.ai&＃xff0c;最好有一块GPU&＃xff0c;没有的话就去薅Google羊毛&＃xff0c;学习使用Colab&＃xff08;反正将来一定会用到的&＃xff09;。

攻略&＃xff1a;学fast.ai&＃xff0c;用Colab
https://towardsdatascience.com/fast-ai-lesson-1-on-google-colab-free-gpu-d2af89f53604

最后&＃xff0c;给读书党安利&＃xff1a;

神经网络与深度学习
作者&＃xff1a;Michael Nielsen
http://neuralnetworksanddeeplearning.com/

视频课程

不能光靠MOOC学深度学习&＃xff0c;下面这些视频课程也要学习了解一下&＃xff1a;

3Blue1Brown的神经网络
https://www.youtube.com/playlist?list&＃61;PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi

Computerphile的神经网络
https://www.youtube.com/playlist?list&＃61;PLzH6n4zXuckoezZuZPnXXbvN-9jMFV0qh

Brandon Rohrer的神经网络
https://www.youtube.com/watch?v&＃61;ILsA4nyG7I0

Python实用机器学习教程
https://www.youtube.com/watch?v&＃61;OGxgnH8y2NM&list&＃61;PLQVvvaa0QuDfKTOs3Keq_kaG2P55YRn5v

对新人友好的博客

刷博客也是自学的重要途径&＃xff0c;这里一些经典博客可以作为学习资料&＃xff1a;

在处理可视化和动量方面做得非常好的Distill.pub
https://distill.pub/

Andrej Karpathy的老博客
http://karpathy.github.io/

深度强化学习
https://simoninithomas.github.io/Deep_reinforcement_learning_Course/

Towards Data Science
https://towardsdatascience.com/

写代码的资料

Jupyter笔记本&＃xff1a;

Jupyter入门
https://www.youtube.com/watch?v&＃61;HW29067qVWk

DataCamp Jupyter教程
https://www.datacamp.com/community/tutorials/tutorial-jupyter-notebook?utm

Jupyter的坑&＃xff0c;请注意避开
https://docs.google.com/presentation/d/1n2RlMdmv1p25Xy5thJUhkKGvjtV-dkAIsUXP-AL4ffI/preview?slide&＃61;id.g3b600ce1e2_0_0

NumPy&＃xff1a;

斯坦福CS231 Numpy教程
http://cs231n.github.io/python-numpy-tutorial/

DataCamp Numpy教程
https://www.datacamp.com/community/tutorials/python-numpy-tutorial

Pandas&＃xff1a;

Data School综合教程系列Pandas数据分析
https://www.youtube.com/watch?v&＃61;yzIMircGU5I&list&＃61;PL5-da3qGB5ICCsgW1MxlZ0Hq8LL5U3u9y

Pandas的代码基础短教程
https://www.youtube.com/watch?v&＃61;CmorAWRsCAw&list&＃61;PLeo1K3hjS3uuASpe-1LjfG5f14Bnozjwy

Scikit-learn&＃xff1a;

Data School scikit-learn教程系列
https://www.youtube.com/watch?v&＃61;CmorAWRsCAw&list&＃61;PLeo1K3hjS3uuASpe-1LjfG5f14Bnozjwy

Matplotlib&＃xff1a;

Sentdex Matplotlib系列
https://www.youtube.com/watch?v&＃61;q7Bo_J8x_dw&list&＃61;PLQVvvaa0QuDfefDfXb9Yf0la1fPDKluPF

Matplotlib视频教程
https://www.youtube.com/watch?v&＃61;b3lK639ymu4&list&＃61;PLNmACol6lYY5aGQtxghQTq0bHXYoIMORy

终于能用深度学习了

现在&＃xff0c;基础、原理、代码你都学的差不多了&＃xff0c;终于可以开始使用深度学习这项大杀器了。

那&＃xff0c;拿来干点啥&＃xff0c;从什么项目开始下手呢&＃xff1f;可以看这些找找灵感&＃xff1a;

超厉害的深度学习idea
https://github.com/NirantK/awesome-project-ideas

Kaggle比赛
https://www.kaggle.com/competitions

Kaggle数据集
https://www.kaggle.com/datasets

另外&＃xff0c;还需要做处选择&＃xff0c;在TensorFlow、PyTorch、Keras等一大堆框架里选边站&＃xff0c;找一个你觉得好用的框架。

项目实践好了之后&＃xff0c;就可以开始写技术博客啦&＃xff01;

开启新篇章

现在&＃xff0c;你终于成为了一个掌握深度学习技能的人&＃xff0c;可以考虑在计算机视觉、自然语言处理、机器学习、自动驾驶……等许多领域深入发展了。

不过&＃xff0c;Sanny Kim还是建议大家先去学&＃xff1a;

fast.ai的第二部分&＃xff08;2018版&＃xff0c;2019版还没更新到第二部分&＃xff09;
http://course18.fast.ai/part2.html

可以从这里了解一些前沿的东西&＃xff0c;比如GAN、神经翻译、超分辨率之类的&＃xff0c;之后就可以选择一个你喜欢的方向深入研究了。

计算机视觉

斯坦福CS231n&＃xff08;2017&＃xff09;
https://www.youtube.com/watch?v&＃61;vT1JzLTH4G4&list&＃61;PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk

斯坦福CS231n&＃xff08;2016&＃xff09;
https://www.youtube.com/watch?v&＃61;NfnWJUyUJYU&list&＃61;PLkt2uSq6rBVctENoVBg1TpCC7OQi31AlC

UCF计算机视觉&＃xff08;2012&＃xff09;
https://www.youtube.com/watch?v&＃61;715uLCHt4jE&list&＃61;PLd3hlSJsX_ImKP68wfKZJVIPTd8Ie5u-9

斯坦福CS231n不同年份有不同年份的特点&＃xff0c;比如2017年有一个关于生成模型的课程&＃xff0c;2016年有Jeff Dean的演讲&＃xff0c;如果想了解在深度学习爆发之前计算机视觉的发展&＃xff0c;可以看最后一个课程。

自然语言处理

斯坦福CS224N NLP深度学习&＃xff08;2019&＃xff09;
https://www.youtube.com/playlist?list&＃61;PLoROMvodv4rOhcuXMZkNm7j3fVwBBY42z

Stanford CS224N NLP深度学习&＃xff08;2017&＃xff09;
https://www.youtube.com/watch?v&＃61;OQQ-W_63UgQ&list&＃61;PL3FW7Lu3i5Jsnh1rnUwq_TcylNr7EkRe6

CMU NLP神经网络&＃xff08;2019&＃xff09;
https://www.youtube.com/playlist?list&＃61;PL8PYTP1V4I8Ajj7sY6sdtmjgkt7eo2VMs

牛津&DeepMind深度学习NLP&＃xff08;2017&＃xff09;
https://www.youtube.com/watch?v&＃61;RP3tZFcC2e8&list&＃61;PL613dYIGMXoZBtZhbyiBqb0QtgK6oJbpm
GitHub&＃xff1a;
https://github.com/oxford-cs-deepnlp-2017/lectures

斯坦福CS224N的NLP、深度学习课程很棒&＃xff0c;包含视频、PPT、作业、作业答案甚至还有课堂项目&＃xff0c;相比之下2019版本包含了更多新内容。

牛津和DeepMind合作的项目也很不错&＃xff0c;还附带了GitHub。

继续研究深度学习

Fullstack深度学习训练营&＃xff08;2019年&＃xff09;
https://fullstackdeeplearning.com/march2019

伯克利CS294深度无监督学习&＃xff08;2019&＃xff09;
https://sites.google.com/view/berkeley-cs294-158-sp19/home

斯坦福CS230深度学习&＃xff08;2018&＃xff09;
https://www.youtube.com/playlist?list&＃61;PLoROMvodv4rOABXSygHTsbvUz4G_YQhOb

CMU深度学习课程&＃xff08;2017&＃xff09;
https://www.youtube.com/watch?v&＃61;fDlOQrLX8Hs&list&＃61;PLpIxOj-HnDsOSL__Buy7_UEVQkyfhHapa

牛津深度学习课程&＃xff08;2015&＃xff09;
https://www.youtube.com/watch?v&＃61;PlhFWT7vAEw&list&＃61;PLjK8ddCbDMphIMSXn-w1IjyYpHU3DaUYw

Ian Goodfellow的《深度学习》&＃xff08;俗称花书&＃xff09;
https://www.deeplearningbook.org/

NIPS&＃xff08;2017&＃xff09;会议视频
https://nips.cc/Conferences/2017/Videos

ICML&＃xff08;2017&＃xff09;会议视频
https://icml.cc/Conferences/2017/Videos

ICLR&＃xff08;2018&＃xff09;会议视频
https://www.facebook.com/pg/iclr.cc/videos/

强化学习

如果想研究强化学习&＃xff08;RL&＃xff09;&＃xff0c;那很不幸你前面学的deeplearning.ai和fast.ai里都没有&＃xff0c;所以Sanny Kim建议按照下面的顺序学习&＃xff1a;

Arxiv Insight的强化学习视频介绍
https://www.youtube.com/watch?v&＃61;JgvyzIkgxF0

Jacob Schrum的强化学习简介
https://www.youtube.com/watch?v&＃61;3T5eCou2erg&list&＃61;PLWi7UcbOD_0u1eUjmF59XW2TGHWdkHjnS

Andrej Karpathy关于深度强化学习的博客文章
http://karpathy.github.io/2016/05/31/rl/

吴恩达关于马尔可夫决策过程的论文第1-2章
http://rll.berkeley.edu/deeprlcoursesp17/docs/ng-thesis.pdf

斯坦福CS234强化学习&＃xff08;2019&＃xff09;
https://www.youtube.com/playlist?list&＃61;PLoROMvodv4rOSOPzutgyCTapiGlY2Nd8u

OpenAI深度学习Spinning up&＃xff08;2018&＃xff09;
https://spinningup.openai.com/en/latest/

DeepMind深度学习&强化学习进阶&＃xff08;2018&＃xff09;
https://www.youtube.com/watch?v&＃61;iOh7QUZGyiU&list&＃61;PLqYmG7hTraZDNJre23vqCGIVpfZ_K2RZs

David Silver强化学习课程
https://www.youtube.com/watch?v&＃61;2pWv7GOvuf0&list&＃61;PLzuuYNsE1EZAXYR4FJ75jcJseBmo4KQ9-

伯克利CS294深层强化学习课程&＃xff08;2017&＃xff09;
http://rll.berkeley.edu/deeprlcoursesp17/

伯克利CS294深度强化学习&＃xff08;2018&＃xff09;
http://rail.eecs.berkeley.edu/deeprlcourse/

强化学习&＃xff1a;简介&＃xff08;2018年&＃xff09;
https://drive.google.com/file/d/1opPSz5AZ_kVa1uWOdOiveNiBFiEOHjkG/view

伯克利深度强化学习训练营&＃xff08;2017&＃xff09;
https://www.youtube.com/watch?v&＃61;qaMdN6LS9rA&list&＃61;PLAdk-EyP1ND8MqJEJnSvaoUShrAWYe51U

MILA强化学习暑期学校&＃xff08;2017&＃xff09;
https://mila.quebec/en/cours/deep-learning-summer-school-2017/

Udacity深度强化学习GitHub Repo
https://github.com/udacity/deep-reinforcement-learning

Thomas Simonini深度强化学习课程
https://simoninithomas.github.io/Deep_reinforcement_learning_Course/

机器学习

想要了解机器学习&＃xff0c;吴恩达的课程是十分经典的教材。如果你想学习更多相关的数学理论&＃xff0c;可以学加州理工的课程。

吴恩达的机器学习课程&＃xff08;2012&＃xff09;
https://www.coursera.org/learn/machine-learning

加州理工CS156机器学习课程&＃xff08;2012&＃xff09;
http://work.caltech.edu/telecourse.html

Christopher Bishop的《模式识别和机器学习书》&＃xff08;2006&＃xff09;
https://www.microsoft.com/en-us/research/uploads/prod/2006/01/Bishop-Pattern-Recognition-and-Machine-Learning-2006.pdf

吴恩达《Machine Learning Yearning》
https://www.mlyearning.org/

自动驾驶

如果你对自动驾驶感兴趣&＃xff0c;可以去学MIT的课程&＃xff0c;包含广泛的相关内容介绍&＃xff0c;还有比如Aurora这种专业自动驾驶公司大佬的分享。

MIT自动驾驶课程&＃xff08;2018年&＃xff09;
https://www.youtube.com/watch?v&＃61;-6INDaLcuJY&list&＃61;PLrAXtmErZgOeiKm4sgNOknGvNjby9efdf

自动驾驶的计算机视觉&＃xff1a;问题&＃xff0c;数据集和最新技术&＃xff08;2017&＃xff09;
https://arxiv.org/pdf/1704.05519.pdf

ICCV自动驾驶计算机视觉教程&＃xff08;2015&＃xff09;
https://sites.google.com/site/cvadtutorial15/materials

Udacity自动驾驶idea
https://github.com/ndrplz/self-driving-car

各类补充资料

你可能会发现&＃xff0c;梯度下降、反向传播&＃xff0c;这些问题都出现了

Sebastian Ruder梯度下降博客
http://ruder.io/optimizing-gradient-descent/

CS231n反向传播
http://cs231n.github.io/optimization-2/

重点论文&＃xff1a;

AlexNet&＃xff08;2012&＃xff09;
https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

VGG&＃xff08;2014&＃xff09;
https://arxiv.org/abs/1409.1556

InceptionNet&＃xff08;2014&＃xff09;
https://arxiv.org/pdf/1409.4842.pdf

ResNet&＃xff08;2015&＃xff09;
https://arxiv.org/abs/1512.03385

生成对抗网络&＃xff08;2014年&＃xff09;
https://arxiv.org/abs/1406.2661

Yolo对象检测&＃xff08;2015&＃xff09;
https://arxiv.org/abs/1506.02640

用深度强化学习玩雅达利游戏&＃xff08;2013&＃xff09;
https://arxiv.org/pdf/1312.5602.pdf

备忘录&＃xff1a;

深度学习
https://stanford.edu/~shervine/teaching/cs-229/cheatsheet-deep-learning

PyTorch
https://www.sznajdman.com/pytorch-cheat-sheet/

Numpy
https://www.datacamp.com/community/blog/python-numpy-cheat-sheet

Pandas
https://www.datacamp.com/community/blog/python-pandas-cheat-sheet

Matplotlib
https://www.datacamp.com/community/blog/python-matplotlib-cheat-sheet

Scikit-Learn
https://www.datacamp.com/community/blog/scikit-learn-cheat-sheet

Jupyter Notebook
https://www.datacamp.com/community/blog/jupyter-notebook-cheat-sheet

传送门

GitHub
https://github.com/sannykim/deep-learning-guide

推特
https://twitter.com/sannykimchi/status/1138103256792494085?s&＃61;21

— 完 —

小程序|全类别AI学习教程

AI社群|与优秀的人交流

量子位 QbitAI · 头条号签约作者

վ&＃39;ᴗ&＃39; ի 追踪AI技术和产品新动态

   喜欢就点「在看」吧 !