1 Spark 和 MapReduce 对比
| MapReduce | Spark |
|---|
| 数据存储结构&＃xff1a;磁盘HDFS文件系统的 split | 使用内存构建RDD |
| 编程范式&＃xff1a; Map &＃43; Redcuce | DAG: Transformation &＃43; action |
| 计算中间数据落磁盘&＃xff0c;IO 即序列化&＃xff0c;反序列化代价大 | 计算中间数据在内存 |
| Task 以进程的方式维护&＃xff0c;任务启动就有数秒 | Task 以线程的方式维护&＃xff0c;对小数据集的读取达到亚秒级的延迟 |
2 Spark Standalone 模式配置
JAVA_HOME&＃61;/usr/apps/jdk1.8.0_181-amd64
SCALA_HOME&＃61;/home/hadoop/apps/scala-2.11.12
LD_LIBRARY_PATH&＃61;/home/hadoop/apps/hadoop-2.6.0-cdh5.7.0/lib/nativeHADOOP_CONF_DIR&＃61;/home/hadoop/apps/hadoop-2.6.0-cdh5.7.0/etc/hadoopSPARK_MASTER_HOST&＃61;node1
SPARK_MASTER_PORT&＃61;7077
SPARK_MASTER_WEBUI_PORT&＃61;8080
SPARK_WORKER_CORES&＃61;2
SPARK_WORKER_MEMORY&＃61;2g
- 启动
http://node1:8080/
spark-defaults.conf (spark-shell 默认启动时为 spark 集群)
spark.master spark://node1:7077
京公网安备 11010802041100号