「短视频」进入大数据领域的学习路线是什么？

视频地址

“读字节”公众号视频地址：进入大数据领域的学习路线是什么？

“读字节-大数据” B站视频地址：进入大数据领域的学习路线是什么？

“读字节(大数据)” 知乎视频地址：进入大数据领域的学习路线是什么？

文字内容：

想要进入大数据领域，首先最好要有一个演练场景，也就是你服务的客户具备大量非结构化的数据。若无法满足这一点，其实也不必烦恼，留意有些书的例子就带了很多数据，例如Google的Kaggle网站，有很多美国公共事业的数据。

其次学习大数据要有足够的机器资源，一台8核，16g—32g内存的电脑应该算学习的最低配置吧，现在大部分好点笔记本都能支持。切记是学习大数据技术而不是深度学习啊，那个深度学习硬件配置都是3万起步。

学习大数据一定要从数据的采集、处理(包括流，批)、消息队列和存储入手。这是大数据技术的生命周期

技术路线上，我建议先首先从nosql开始，学会文档数据库，键值对数据库的存储，也最好上手，像elasticsearch，MongoDB，Redis等等先来一圈

其次从日志流式管道入手，理解一下大数据传输的整体生命周期，那么学习elk技术，也就是filebeat采集文件或日志，logstash清洗过滤，kafka临时中转，再写入elasticsearch，Kibana最终显示。那么你会对大数据流的过程有了深刻的认识。

好了，做完上面的事情，总算大数据学习前的热身了！哈哈哈

开始进入正题

第一步开始使用推荐的硬件配置，开始搭建集群，zookeeper集群，做分布式调度;hdfs集群做分布式文件系统;yarn集群做分布式计算;hbase集群列式稀疏存储

第二步Hadoop生态工具搭建，hive工具，实现SQL接口视图加元数据存储;sqoop做rdbms数据库到hdfs的物化视图;flume替换elk，做文件或日志的流式采集进入hdfs。

第三步，开始你的基础编程之旅，包括hdfs的Java调用，MapReduce的程序实现，理解hdfs的块结构，理解MapReduce的计数，排序，连接和聚合，理解分区和分桶等等。另外还要理解实践avro容器格式，parquet列式格式，理解压缩，这些都是根本。

第四步，开始spark之旅，搭建spark集群，学习什么是rdd，dataframe，学习scala语言，会Python更好，学习spark streaming如何将rdd转换成微批模式和流式处理

好吧，有了这些功底，就可以开始一些机器学习或数据科学分析或数据挖掘的学习了。祝愿你能成为大数据这方面的专家。

前往读字节的知乎——了解更多关于大数据的知识

公众号“读字节” 分布式，大数据，软件架构的深度，专业解读