作者：huanghunlaoren_619 | 来源：互联网 | 2023-05-18 23:42
1业务需求分析 （1）、捕获数据日志或数据库数据信息 （2）、实时分析前当前数据内容 （3）、实时统计当前数据量 （4）、根
1业务需求分析
（1）、捕获数据日志或数据库数据信息
（2）、实时分析前当前数据内容
（3）、实时统计当前数据量
（4）、根据业务需求新增统计规划
2、平台组件
hadoop2.8.4
spark2.3.1
hive2.3.3
kafka2.12
zookeeper3.4.12
Hbase
flume
sqoop
3、宏观构架图
4、集群资源规划
|
|
机器1
|
机器2
|
机器3
|
机器4
|
机器5
|
|
HDFS
|
NAMENODE
|
NAMENODE
|
DATANONE
|
DATANODE
|
DATANODE
|
|
YARN
|
RESOURCEMANAGER
|
RESOURCEMANAGER
|
NONEMANAGER
|
NONEMANAGER
|
NONEMANAGER
|
|
ZOOKEEPER
|
zookeeper
|
zookeeper
|
zookeeper
|
|
|
|
kafka
|
|
|
kafka
|
kafka
|
kafka
|
|
HBASE
|
master
|
master
|
regionSERver
|
regionSERver
|
regionSERver
|
|
flume
|
flume
|
|
|
flume
|
flume
|
|
hive
|
|
hive
|
|
|
|
|
mysql
|
|
mysql
|
|
|
|
|
spark
|
spark
|
|
|
|
|
京公网安备 11010802041100号