从零基础到大数据专家要掌握的知识

刚接触大数据的同学都会有这个问题&＃xff0c;大数据是怎么学&＃xff1f;需要学什么技术以及这些技术的学习顺序是什么?今天大讲台的老师把个问题总结成文章分享给大家。
大数据处理技术怎么学习呢&＃xff1f;首先我们要学习Python语言和Linux操作系统&＃xff0c;这两个是学习大数据的基础&＃xff0c;学习的顺序不分前后。

Python&＃xff1a;Python 的排名从去年开始就借助人工智能持续上升&＃xff0c;现在它已经成为了语言排行第一名。

从学习难易度来看&＃xff0c;作为一个为“优雅”而生的语言&＃xff0c;Python语法简捷而清晰&＃xff0c;对底层做了很好的封装&＃xff0c;是一种很容易上手的高级语言。在一些习惯于底层程序开发的“硬核”程序员眼里&＃xff0c;Python简直就是一种“伪代码”。

在大数据和数据科学领域&＃xff0c;Python几乎是万能的&＃xff0c;任何集群架构软件都支持Python&＃xff0c;Python也有很丰富的数据科学库&＃xff0c;所以Python不得不学。

Linux&＃xff1a;因为大数据相关软件都是在Linux上运行的&＃xff0c;所以Linux要学习的扎实一些&＃xff0c;学好Linux对你快速掌握大数据相关技术会有很大的帮助&＃xff0c;能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置&＃xff0c;能少踩很多坑&＃xff0c;学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

好说完基础了&＃xff0c;再说说还需要学习哪些大数据技术&＃xff0c;可以按我写的顺序学下去。

Hadoop&＃xff1a;这是现在流行的大数据处理平台几乎已经成为大数据的代名词&＃xff0c;所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN&＃xff0c;HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面&＃xff0c;MapReduce是对数据进行处理计算的&＃xff0c;它有个特点就是不管多大的数据只要给它时间它就能把数据跑完&＃xff0c;但是时间可能不是很快所以它叫数据的批处理。YARN是体现Hadoop平台概念的重要组件有了它大数据生态体系的其它软件就能在hadoop上运行了&＃xff0c;这样就能更好的利用HDFS大存储的优势和节省更多的资源比如我们就不用再单独建一个spark的集群了&＃xff0c;让它直接跑在现有的hadoop yarn上面就可以了。其实把Hadoop的这些组件学明白你就能做大数据的处理了&＃xff0c;只不过你现在还可能对”大数据”到底有多大还没有个太清楚的概念&＃xff0c;听我的别纠结这个。等以后你工作了就会有很多场景遇到几十T/几百T大规模的数据&＃xff0c;到时候你就不会觉得数据大真好&＃xff0c;越大越有你头疼的。当然别怕处理这么大规模的数据&＃xff0c;因为这是你的价值所在&＃xff0c;让那些个搞Javaee的php的html5的和DBA的羡慕去吧。

第一阶段学习结束&＃xff0c;掌握上述知识&＃xff0c;就可以从事大数据方面的工作了。

Zookeeper&＃xff1a;这是个万金油&＃xff0c;安装Hadoop的HA的时候就会用到它&＃xff0c;以后的Hbase也会用到它。它一般用来存放一些相互协作的信息&＃xff0c;这些信息比较小一般不会超过1M&＃xff0c;都是使用它的软件对它有依赖&＃xff0c;对于我们个人来讲只需要把它安装正确&＃xff0c;让它正常的run起来就可以了。

Mysql&＃xff1a;我们学习完大数据的处理了&＃xff0c;接下来学习学习小数据的处理工具mysql数据库&＃xff0c;因为一会装hive的时候要用到&＃xff0c;mysql需要掌握到什么层度那?你能在Linux上把它安装好&＃xff0c;运行起来&＃xff0c;会配置简单的权限&＃xff0c;修改root的密码&＃xff0c;创建数据库。这里主要的是学习SQL的语法&＃xff0c;因为hive的语法和这个非常相似。

Sqoop&＃xff1a;这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个&＃xff0c;直接把Mysql数据表导出成文件再放到HDFS上也是一样的&＃xff0c;当然生产环境中使用要注意Mysql的压力。
Hive&＃xff1a;这个东西对于会SQL语法的来说就是神器&＃xff0c;它能让你处理大数据变的很简单&＃xff0c;不会再费劲的编写MapReduce程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。
Oozie&＃xff1a;既然学会Hive了&＃xff0c;我相信你一定需要这个东西&＃xff0c;它可以帮你管理你的Hive或者MapReduce、Spark脚本&＃xff0c;还能检查你的程序是否执行正确&＃xff0c;出错了给你发报警并能帮你重试程序&＃xff0c;最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的&＃xff0c;不然你看着那一大堆脚本&＃xff0c;和密密麻麻的crond是不是有种想屎的感觉。
Hbase&＃xff1a;这是Hadoop生态体系中的NOSQL数据库&＃xff0c;他的数据是按照key和value的形式存储的并且key是唯一的&＃xff0c;所以它能用来做数据的排重&＃xff0c;它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka&＃xff1a;这是个比较好用的队列工具&＃xff0c;队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理&＃xff0c;这样与你协作的其它同学不会叫起来&＃xff0c;你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来&＃xff0c;你别怪他因为他不是搞大数据的&＃xff0c;你可以跟他讲我把数据放在队列里你使用的时候一个个拿&＃xff0c;这样他就不在抱怨了马上灰流流的去优化他的程序去了&＃xff0c;因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS&＃xff0c;这时你可以与一个叫Flume的工具配合使用&＃xff0c;它是专门用来提供对数据进行简单处理&＃xff0c;并写到各种数据接受方(比如Kafka)的。
Spark&＃xff1a;它是用来弥补基于MapReduce处理数据速度上的缺点&＃xff0c;它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算&＃xff0c;所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它&＃xff0c;因为它们都是用JVM的。

第二阶段学习结束&＃xff0c;如果能全部掌握&＃xff0c;你就是专业的大数据开发工程师了。

后续提高&＃xff1a;大数据结合人工智能达到真正的数据科学家&＃xff0c;打通了数据科学的任督二脉&＃xff0c;在公司是技术专家级别&＃xff0c;这时候月薪再次翻倍且成为公司核心骨干。

机器学习(Machine Learning, ML)&＃xff1a;是一门多领域交叉学科&＃xff0c;涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它是人工智能的核心&＃xff0c;是使计算机具有智能的根本途径&＃xff0c;其应用遍及人工智能的各个领域&＃xff0c;它主要使用归纳、综合而不是演绎。机器学习的算法基本比较固定了&＃xff0c;学习起来相对容易。

深度学习(Deep Learning, DL)&＃xff1a;深度学习的概念源于人工神经网络的研究&＃xff0c;最近几年发展迅猛。深度学习应用的实例有AlphaGo、人脸识别、图像检测等。是国内外稀缺人才&＃xff0c;但是深度学习相对比较难&＃xff0c;算法更新也比较快&＃xff0c;需要跟随有经验的老师学习。

第三阶段是理想状态&＃xff0c;算是终极目标吧。毕竟技术一直在进步&＃xff0c;谁也无法预测大数据以后的发展。