spark基础解释

Application
Driver program+ Executors 组成

Driver program
process 一个进程 执行main() 方法 并创建sparkContext

Executor
是一个进程 process
run tasks
cache data

Cluster manager
外部资源管理器，根据运行的模式 yarn standalone 等管理运行需要的 外部资源

Deploy mode
区分 driver 运行的位置
cluster 运行在集群内
client 运行在集群外部

Worker node
工作节点
ask
excutor 中的工作单元 是线程级别
JOB
碰到action 算子 触发一个job
Stage
一个job 可能会被拆分成多个stage
按宽依赖进行拆分多个stage
lication jar
用户编写的jar