作者:欧阳3721_208 | 来源:互联网 | 2023-08-06 22:55
特征:持续到达,数据量大,注重数据整体价值,数据顺序可能颠倒,丢失,实时计算,海量,分布,实时,快速部署,可靠linkedinKafkasparkstreaming:微小批处理,模
特征:
持续到达,数据量大,注重数据整体价值,数据顺序可能颠倒,丢失,实时计算,
海量,分布,实时,快速部署,可靠
linked in Kafka
spark streaming:微小批处理,模拟流计算,秒级响应
DStream 一系列RDD 的集合
支持批处理
![](https://img.php1.cn/3cd4a/1eebe/cd5/b386c433a16f5497.webp)
![](https://img.php1.cn/3cd4a/1eebe/cd5/8343fdbffb0056b5.webp)
![](https://img.php1.cn/3cd4a/1eebe/cd5/d05d9dfd09a56332.webp)
创建文件流
![](https://img.php1.cn/3cd4a/1eebe/cd5/086aec93f5e1e9b2.webp)
10代表每10s启动一次流计算
textFileStream 定义了一个文件流数据源
任务: 寻找并跑demo代码 搭建环境 压力测试