本期内容&＃xff1a; 1. 集群模式下的Spark Streaming日志
2. 集群模式下的Spark Streaming Web监控台
NetworkWordCount程序 batch duration设置300秒。job并行度为1。4个worker的集群。
看web控制台知道&＃xff0c;如果不输入数据&＃xff0c;Receiver就没有计算任务。数据处理的任务中socket text strearm&＃xff0c;flatmap、map处&＃xff0c;也没有task运行。reduceByKey处还是有task&＃xff0c;以表明有action。即使0数据时&＃xff0c;batch duration周期内也有处理时间&＃xff0c;因为有打印输出。
如果输入数据&＃xff0c;数据处理的任务中socket text strearm&＃xff0c;flatmap、map、reduceByKey处&＃xff0c;都有数据处理。
没有batch duration周期都会有Job生成。
每个batch duration内有3个job。
TODO 课程不清晰。
最开始只有一个receiver&＃xff0c;就只有一个job。当后面有多个receiver时&＃xff0c;会有多个job。
预期是运行一个Job&＃xff0c;实际是运行了多个Job。系统能根据已有的并行度设置&＃xff0c;来尽量多的分配并发资源。
从Spark Streaming的角度讲&＃xff0c;只是封装了Runnable对象。
京公网安备 11010802041100号