10小时大数据入门-慕课网

• 学习要求
• J2SE
  
  • Java语法
  • J2SE
• Linux命令
• 环境参数
  
  • Linux Centos(6.4)
  • Hadoop CDH(5.7)
  • 开发工具（IDEA）
• 大数据生态圈
  
  • Hadoop 3.x
    
    • https://www.zhihu.com/question/19795366
    • Hadoop, Hive, Pig, HBase, Sqoop。。。。。
  • Spark
    
    • https://www.zhihu.com/question/26568496
  • Flink
  • Beam

大数据

电商利用用户的购物分析，把假货卖给穷逼深深的让我感觉到了资本的力量完全压制人性的力量。
互联网的野蛮生长产生了大量的数据，so这些数据完全可以带来更多的商业利益嘛

4V特征

• Volume 大量
• Variety 多样性(数据源，类型)
• Velocity 速度（日志批处理->流处理）
• Value 价值

技术要点

• 数据采集
• 数据处理/分析/挖掘
• 数据存储
• 可视化

Hadoop

Hadoop概述，核心组件，优势，发展史,生态圈

发展史：http://www.infoq.com/cn/articles/hadoop-ten-years-interpretation-and-development-forecast
生态圈：http://blog.fens.me/hadoop-family-roadmap/

Hadoop优点

分布式文件系统HDFS（Hadoop Distributed File System）

HDFS架构

• 设计目标
• 巨大的分布式文件系统
• 运行在普通廉价的硬件上
• 易扩展，为用户提供性能不错的文件存储（拆分文本，然后分布存储在多台机器）
• http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html
  
  • 英文很重要
    

HDFS架构
1 Master(NameNode/NN) 带 N个Slaves(DataNode/DN)
HDFS/YARN/HBase
1个文件会被拆分成多个Block
blocksize：128M
130M ==> 2个Block： 128M 和 2M
NN：
1）负责客户端请求的响应
2）负责元数据（文件的名称、副本系数、Block存放的DN）的管理
DN：
1）存储用户的文件对应的数据块(Block)
2）要定期向NN发送心跳信息，汇报本身及其所有的block信息，健康状况
A typical deployment has a dedicated machine that runs only the NameNode software.
一个典型的部署有一台专用机器仅运行一个NameNode软件。
Each of the other machines in the cluster runs one instance of the DataNode software.
集群中的每个其他计算机都运行DataNode软件的一个实例。
The architecture does not preclude running multiple DataNodes on the same machine
该架构不排除在同一台机器上运行多个DataNodes
but in a real deployment that is rarely the case.
NameNode + N个DataNode
建议：NN和DN是部署在不同的节点上
replication factor：副本系数、副本因子
All blocks in a file except the last block are the same size

HDFS副本机制

HDFS环境搭建

HDFS shell

Java API操作HDFS

HDFS文件读写流程

HDFS优缺点

分布式资源调度YARN

分布式计算框架MapReduce

Hadoop分布式集群

Hadoop继承Spring

Hadoop3.x新特性

Common改进

HDFS改进

YARN改进

MapReduce改进

其他改进