开发笔记:打包运行项目部署startalone模式和yarn模式

1 打包运行 项目部署 startalone模式 和 yarn模式
2 1：把local 本地运行删掉 输入输出路径改为args(0) args(1) 删除左边target文件
3 顶部 bulid->bulid project 然后右侧打包package 在target下拷贝jar包到桌面上
4 2:必须启动 hdfs(hadoop) spark
5 3：进入hdfs的sbin目录 执行: hadoop fs -ls / 查看hdfs目录 hadoop fs -mkdir /wcdata 创建单词统计的文件夹
6 hadoop fs -put /usr/local/xujunqi/aa.txt /wcdata 把文件上传到wcdata 目录下 netstat -tunl(表示看一下释放的端口)
7 hadoop fs -cat hdfs://hadoop101:9000/wcdata/aa.txt 查看txt文件内容
8
9 hadoop fs -ls /wcresult hadoop fs -cat /wcresult2/part-00000
10 Standalone模式 在spark的bin目录下运行
11
12 #Linux单核、代码删除设置setMaster("spark://hdp1:7077")
13 ./spark-submit14 --class com.xiangmu_bushu.Stream_WordCount15 --master spark://hadoop101:7077
16 --executor-memory 1G17 --total-executor-cores 318 /opt/module/jars/monthlycheck-1.0-SNAPSHOT.jar19 hdfs://hadoop101:9000/wcdata/aa.txt
20 hdfs://hadoop101:9000/wcresult/
21
22
23
24 3：Yarn模式将
25 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 追加到spark-env.sh
26 ./spark-submit27 --class com.xiangmu_bushu.Stream_WordCount28 --master yarn --deploy-mode cluster29 --executor-memory 1G30 --executor-cores 331 /opt/module/jars/monthlycheck-1.0-SNAPSHOT.jar32 hdfs://hadoop101:9000/wcdata/aa.txt
33 hdfs://hadoop101:9000/wcresult2/