1.Spark简介

Apache Spark简介

Apache Spark是一种快速的集群计算技术&＃xff0c;专为快速计算而设计。它基于Hadoop MapReduce&＃xff0c;它扩展了MapReduce模型&＃xff0c;以有效地将其用于更多类型的计算&＃xff0c;包括交互式查询和流处理。 Spark的主要特性是它的内存中集群计算&＃xff0c;提高了应用程序的处理速度。
Spark旨在涵盖各种工作负载&＃xff0c;如批处理应用程序&＃xff0c;迭代算法&＃xff0c;交互式查询和流式处理。除了在相应系统中支持所有这些工作负载之外&＃xff0c;它还减少了维护单独工具的管理负担。

Apache Spark的特性

Apache Spark具有以下功能。

速度

Spark有助于在Hadoop集群中运行应用程序&＃xff0c;在内存中速度提高100倍&＃xff0c;在磁盘上运行时提高10倍。这可以通过减少对磁盘的读/写操作的数量来实现。它将中间处理数据存储在存储器中。

支持多种语言

Spark在Java&＃xff0c;Scala或Python中提供了内置的API。因此&＃xff0c;您可以使用不同的语言编写应用程序。 Spark提供了80个高级操作符进行交互式查询。

高级分析

Spark不仅支持“Map”和“reduce”。它还支持SQL查询&＃xff0c;流数据&＃xff0c;机器学习&＃xff08;ML&＃xff09;和图算法。

Spark基于Hadoop

下图显示了如何使用Hadoop组件构建Spark的三种方式。

Spark部署有三种方式&＃xff0c;如下所述。
Standalone- Spark独立部署意味着Spark占据HDFS&＃xff08;Hadoop分布式文件系统&＃xff09;顶部的位置&＃xff0c;并明确为HDFS分配空间。 这里&＃xff0c;Spark和MapReduce将并行运行以覆盖集群上的所有spark作业。
Hadoop Yarn- Hadoop Yarn部署意味着&＃xff0c;spark只需运行在Yarn上&＃xff0c;无需任何预安装或根访问。 它有助于将Spark集成到Hadoop生态系统或Hadoop堆栈中。 它允许其他组件在堆栈顶部运行。
Spark in MapReduce (SIMR) - MapReduce中的Spark用于在独立部署之外启动spark job。 使用SIMR&＃xff0c;用户可以启动Spark并使用其shell而无需任何管理访问。

Spark的组件

下图说明了Spark的不同组件。

Apache Spark Core

Spark Core是spark平台的基础通用执行引擎&＃xff0c;所有其他功能都是基于。它在外部存储系统中提供内存计算和引用数据集。
Spark SQL
Spark SQL是Spark Core之上的一个组件&＃xff0c;它引入了一个称为SchemaRDD的新数据抽象&＃xff0c;它为结构化和半结构化数据提供支持。

Spark Streaming

Spark Streaming利用Spark Core的快速调度功能来执行流式分析。它以小批量获取数据&＃xff0c;并对这些小批量的数据执行RDD&＃xff08;弹性分布式数据集&＃xff09;转换。

MLlib (Machine Learning Library)

MLlib是Spark之上的分布式机器学习框架&＃xff0c;因为基于分布式内存的Spark架构。根据基准&＃xff0c;它是由MLlib开发人员针对交替最小二乘法&＃xff08;ALS&＃xff09;实现完成的。 Spark MLlib是基于Hadoop磁盘的Apache Mahout版本的9倍&＃xff08;在Mahout获得了Spark接口之前&＃xff09;。
GraphX
GraphX是Spark上的一个分布式图形处理框架。它提供了一个用于表达图形计算的API&＃xff0c;可以通过使用Pregel抽象API为用户定义的图形建模。它还为此抽象提供了一个优化的运行时。