hadoop如何连beeline_小白如何迈出第一步，成为合格的算法工程师？

大家好&＃xff0c;今天这篇文章同样来自于大家的提问。之前有一个小伙伴在留言当中问我&＃xff0c;说自己想要从事算法工程师的工作&＃xff0c;但是不知道应该从哪里入手&＃xff0c;请问我应该怎么办。

这其实是一个老生常谈的话题&＃xff0c;也是一个很大的概念。我很难用三言两语告诉你究竟应该如何做&＃xff0c;但我可以告诉你一个合格的算法工程师应该至少需要具备什么样的能力&＃xff0c;也许可以帮助你们找到前进的方向。

基础

算法、数据结构

这俩是基础中的基础&＃xff0c;作为一个合格的算法工程师&＃xff0c;你可以写不出来红黑树&＃xff0c;也可以不懂网络流&＃xff0c;但是最基础的排序、递归、动态规划、树、堆栈、队列等算法和数据结构是一定要会的&＃xff0c;并且还需要有一定的造诣。

很多不明就里的人&＃xff0c;会秉持着它们不重要的观点&＃xff0c;并且以此宣扬不休。但是就我个人的经验以及观察而言&＃xff0c;我发现无论大小互联网公司&＃xff0c;一个算法工程师的表现&＃xff0c;和他的算法、数据结构的水平是呈正相关的。而且这两块也是面试考察的重点&＃xff0c;想要去比较好的公司锻炼学习&＃xff0c;算法和数据结构作为基本功是一定要会的。另外&＃xff0c;这两块的能力对于我们持续学习以及研究互联网行业的其他技术非常有帮助&＃xff0c;像是分布式系统、机器学习当中的很多内容都和数据结构以及算法相关。你会发现算法大牛学习其他技术的速度和质量都非常可怕&＃xff0c;这并不是没有道理的。

对于普通的从业者而言&＃xff0c;这两块的要求不是非常高&＃xff0c;可以刷一下LeetCode前300题&＃xff0c;基本上包含了所有常用的算法。

机器学习

既然是算法工程师&＃xff0c;机器学习的相关知识也自然是不可或缺的。

建议可以从Andrew NG的机器学习课程开始&＃xff0c;他讲解得非常清楚&＃xff0c;基本上该涵盖的知识点都涵盖了。如果是初学的话&＃xff0c;会觉得吃力是非常正常的&＃xff0c;这个时候可以找一本纸质书印证着一起看。听完Andrew的讲课内容之后&＃xff0c;再去对比书上的描述&＃xff0c;以及其他大牛的博客或者是相关内容。这样对比着学习的质量和效率都是最高的。

对于机器学习的常用模型来说&＃xff0c;使用Python实现的难度都不是很大&＃xff0c;在理解了模型的相关原理之后&＃xff0c;最好能亲自使用Python实现一下模型&＃xff0c;体会一下其中的细节。另外&＃xff0c;各种模型并不是机器学习的全部&＃xff0c;其他的很多内容一样非常重要。比如过拟合的原因&＃xff0c;比如正则项&＃xff0c;比如损失函数的推导过程&＃xff0c;以及AUC等指标的计算方法等等。

说起来机器学习领域中的模型并不少&＃xff0c;但是常用的&＃xff0c;面试当中经常问到的并不多。说来说去&＃xff0c;也就LR&＃xff0c;逻辑回归&＃xff0c;贝叶斯&＃xff0c;决策树&＃xff0c;随机森林&＃xff0c;GBDT&＃xff0c;XGboost、KNN、Kmeans等十余个。我们学习的时候可以只聚焦其中一些模型&＃xff0c;把它们完全吃透&＃xff0c;而不是贪多嚼不烂&＃xff0c;每个都知道一点&＃xff0c;但每个都不精通。

深度学习

深度学习需要区分领域&＃xff0c;如果是推荐、广告、搜索等CTR预估等领域来说&＃xff0c;要求相对要低一些&＃xff0c;在面试的时候也不会太过深入。这也是因为这些领域的模型和做法比较固定&＃xff0c;相比于模型对于特征、数据以及系统的要求更高。

另外一个原因是深度学习相关的内容在面试的时候也不太好考察&＃xff0c;举个例子来说&＃xff0c;如果候选人之前没有做过相关业内的工作。他可能根本不知道推荐领域内使用哪些模型和哪些做法&＃xff0c;我们去问他DIN或者是FM&＃xff0c;也就无从问起了。而且深度学习目前的框架也分成两派&＃xff0c;如果他刚好没有深入用过同样的框架&＃xff0c;所谓框架的细节也没办法多问。并且这块也不是重点&＃xff0c;框架不会学起来也很快&＃xff0c;基础扎实几天就可以有模有样。

所以作为初学者&＃xff0c;如果决心做推荐、广告等领域的算法工程师的话&＃xff0c;甚至可以连卷积神经网络都不用了解(我甚至没在工作中见过卷积)。把时间省下来去读一些业内的paper&＃xff0c;以及做一些比赛练练手&＃xff0c;得到的效果会更好。

数据处理

很多人在介绍算法工程师入门的时候不会提到这块&＃xff0c;但其实这块非常重要&＃xff0c;也一样是算法工程师的基础技能。

数据处理主要包含两块&＃xff0c;一块是模型训练之前的数据处理流程。比如特征加工、采样、异常值过滤、特征分布的分析等等&＃xff0c;这些可以通过学习numpy、pandas来搞定。可以看一看kaggle大牛的一些kernel或者是文章了解学习一下&＃xff0c;这块比较简单&＃xff0c;一般来说做过kaggle的多少都会一些。

第二块是基于hadoop集群的大数据处理平台&＃xff0c;比如MapReduce、spark、flink、hive等平台和工具的使用。这些内容除了业内人士一般也很少了解&＃xff0c;就更不用说有这个意识去学习了&＃xff0c;但是又是实际工作当中实实在在会用到的东西。现在纯MapReduce的做法有些过时了&＃xff0c;一般业内常用得比较多的是spark、hive和flink。这些技能我们也没有必要什么都学&＃xff0c;能够对其中一个有所了解和掌握就可以了。因为不同公司的做法一般都不太一样&＃xff0c;入职的时候都是要重新学过的&＃xff0c;面试的时候一般也不会要求刚好完全对口。

开发能力

这一点提的不多&＃xff0c;但是也很重要。毕竟算法工程师也是工程师&＃xff0c;也是需要写代码的。在日常工作当中&＃xff0c;算法工程师的开发领域主要有三块&＃xff0c;分别是模型、脚本以及系统。

模型这个好理解&＃xff0c;比如复现paper当中的做法&＃xff0c;或者是复现某一个经典模型之类的。但是我们实现模型&＃xff0c;也并不是就仅仅实现模型本身&＃xff0c;往往也需要实现很多额外的内容。比如拆分训练以及验证数据&＃xff0c;比如记录模型训练的日志&＃xff0c;再比如读取数据&＃xff0c;转化格式等等。

脚本主要指的是特征以及数据处理的脚本&＃xff0c;这个依赖于公司使用的数据处理平台。比如spark需要写scala&＃xff0c;比如hive需要写SQL等等。这些脚本往往都会涉及到非常复杂的特征生成&＃xff0c;以及数据关联的逻辑&＃xff0c;非常麻烦&＃xff0c;稍不小心就会搞错。

最后是系统&＃xff0c;算法工程师同样也需要参与一些系统的开发。比如说&＃xff0c;像是线上的排序系统&＃xff0c;线上调用模型的打分系统等等。这些系统的细节往往和模型以及算法挂钩&＃xff0c;普通的开发往往不了解这些细节&＃xff0c;所以还是需要算法工程师参与开发&＃xff0c;那么最基本的开发能力也就必不可少了。

框架

框架指的是深度学习模型的框架&＃xff0c;市面上现在已有的框架其实不少&＃xff0c;除了常用的TensorFlow、Pytorch之外&＃xff0c;还有像是Keras、MXNet、Caffe等等。一般来说在TensorFlow和Pytorch当中任选一个进行深入学习即可&＃xff0c;掌握了一个之后再去学另外一个会容易得多。

我前面也说过了&＃xff0c;框架并不是技术的核心重点&＃xff0c;使用什么框架并不重要。就我个人而言的话&＃xff0c;如果你从来没有学过任何框架的话&＃xff0c;我更加建议你去学Pytorch。因为Pytorch的学习曲线更加平缓&＃xff0c;并且它对于面向对象的支持更加友好&＃xff0c;语法也更加简洁。你会发现学习Pytorch的体验要比TensorFlow好非常多&＃xff0c;学起来也会更快。

对于面试的问题也不用过多担心&＃xff0c;因为一般来说岗位对候选人的要求写的都是TensorFlow、Pytorch、Keras等常用框架熟悉其中的一个即可。如果问到TensorFlow相关的问题&＃xff0c;你大可以直接告诉面试官&＃xff0c;我用Pytorch比较多&＃xff0c;TensorFlow我不熟。

实战

我们学习了一堆理论知识之后&＃xff0c;肯定还是需要实际使用一下&＃xff0c;才能检验我们学习的效果&＃xff0c;并且也才可以理解更加到位。机器学习相关应用的实战渠道有很多&＃xff0c;比如著名的kaggle以及阿里举办的天池大数据等等。除了这两家之外&＃xff0c;其实很多公司也都在举办各自的算法竞赛&＃xff0c;对于小白来说&＃xff0c;这些都是非常珍贵的练手的机会。

kaggle当中的比赛非常多&＃xff0c;并不是每一个都有意义&＃xff0c;我们可以找到和我们应聘的方向比较紧密的。比如你要面搜索、广告&＃xff0c;那你就去做做CTR预估&＃xff0c;如果你做NLP&＃xff0c;也可以去找找文本处理的问题。kaggle当中的比赛实在是太全了&＃xff0c;只有你想不到&＃xff0c;几乎没有找不到。相比之下天池大数据的题目要少一些&＃xff0c;但是它可以使用阿里巴巴真实的平台以及脱敏之后的数据&＃xff0c;这些相比kaggle我个人感觉更加逼真。我们亲自做一下&＃xff0c;基本上就了解了阿里这样的大公司做模型的整个流程&＃xff0c;还能体验一下阿里云的强大计算能力。

最后说一点&＃xff0c;当我们做某一个比赛或者是题目的时候&＃xff0c;我们的目标并不仅仅是做出一个比较好的成绩。而是要尽量去思考问题的场景&＃xff0c;以及模型在这样场景当中的作用和原理。也就是说我们不能干做&＃xff0c;我们做了还得要思考&＃xff0c;思考过后还需要总结。只有这样&＃xff0c;我们才能获得真正的成长。

怎么样&＃xff0c;看到这些要求是不是觉得算法岗位的门槛还是挺高的&＃xff0c;要学的东西也不少&＃xff1f;实际上也的确如此&＃xff0c;算法工程师是一个很特殊的岗位&＃xff0c;模型、数据、算法、系统&＃xff0c;各个方面都需要有所涉猎。不过&＃xff0c;我们也并不需要各个领域都面面俱到&＃xff0c;抓大放小&＃xff0c;从这几个核心领域入手才可以做到事半功倍。

今天的内容就到这里&＃xff0c;衷心祝愿大家每天都有所收获。如果还喜欢今天的内容的话&＃xff0c;请来一个三连支持吧~(点赞、在看、转发)