Structured Streaming

SBT 依赖包&＃xff1a;

groupId &＃61; org.apache.spark
artifactId &＃61; spark-sql-kafka-0-10_2.11
version &＃61; 2.1.1

在Spark2.x中&＃xff0c;Spark Streaming获得了比较全面的升级&＃xff0c;称为Structured Streaming&＃xff0c;和之前的很不同&＃xff0c;功能更强大&＃xff0c;效率更高&＃xff0c;跟其他的组件整合性也更好。

Spark 2.X提出了continuous application&＃xff08;连续的应用程序&＃xff09;的概念&＃xff0c;非常重大。

首先&＃xff0c;也是最重要的&＃xff0c;在2.x中&＃xff0c;提出了一个叫做continuous applications连续应用程序的概念。
如下图所示&＃xff0c;数据从Kafka中流进来&＃xff0c;通过ETL操作进行数据清洗&＃xff0c;清洗出来作为目标数据进行进一步处理&＃xff0c;可能是机器学习&＃xff0c;也可能是交互式查询&＃xff0c;也有可能直接把数据存在数据库或者其他外部存储设备&＃xff0c;也有可能是直接交给已有的应用程序。也就是说SparkStreaming从获得数据后&＃xff0c;能把全部处理环节串联起来&＃xff0c;称之为端到端(End to end)处理!!!

#
http://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html

groupId &＃61; org.apache.spark
artifactId &＃61; spark-sql-kafka-0-10_2.11
version &＃61; 2.1.1

http://blog.csdn.net/javastart/article/details/50942397

未完成待续

參考文献&＃xff1a;
【1】http://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html 官网简单介绍
【2】http://www.cnblogs.com/dt-zhw/p/5597353.html Spark定制班第29课&＃xff1a;深入理解Spark 2.x中的Structured Streaming内幕
【3】https://www.iteblog.com/archives/1322.html 实际较详细的例子
【4】https://github.com/ansrivas/spark-structured-streaming/blob/master/src/main/scala/com/kafkaToSparkToCass/Main.scala
代码参考