一.大数据方向工作介绍
大数据方向的工作目前分为三个主要方向:
01.大数据工程师
02.数据分析师
03.大数据科学家
04.其他(数据挖掘本质算是机器学习,不过和数据相关,也可以理解为大数据的一个方向吧)
二.大数据工程师的技能要求
总结如下:
必须技能10条:
1.Java高级(虚拟机、并发)
2.Linux 基本操作
3.Hadoop(此处为侠义概念单指HDFS+MapReduce+Yarn )
4.HBase(JavaAPI操作+Phoenix )
5.Hive(Hql基本操作和原理理解)
6.Kafka
7.Storm
8.Scala需要
9.Python
10.Spark (Core+sparksql+Spark streaming )
11.一些小工具(Sqoop等)
高阶技能6条:
1.机器学习算法以及mahout库加MLlib
2.R语言
3.Lambda 架构
4.Kappa架构
5.Kylin
6.Aluxio
为了帮助大家更好的了解大数据的学习方向,特别拿出了某厂大佬整理的《大数据全栈工程师成长手册》电子稿文件,内容涵盖:数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、Hadoop、并行计算、Flink等技术栈!
(496页含答案)
注:篇幅有限,资料已经整理到网盘了 , 可直接添加助理微信,免费获取。
所有资料扫码免费领取(网盘资源容易被和谐,建议需要的尽快领取)
限时福利
实时数据处理
离线数据处理
大数据大厂面试题
所有资料扫码免费领取(网盘资源容易被和谐,建议需要的尽快领取)