热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

IntellijIDEA开发(local模式)提交运行Spark代码

这里我来说一下IntellijIDEA(local模式)如何在windows上运行sparkPi的程序:1首先下载IntellijIDEA

这里我来说一下Intellij IDEA(local模式) 如何在windows上运行spark Pi的程序:
1 首先下载Intellij IDEA 地址:
https://www.jetbrains.com/idea/download/#section=windows
这里写图片描述
点击相应的 window 下载
2 下载之后创建工程和类
(温馨提示 :在写这个程序程序之前请把所需要的jar包导入好 ,在进行写 import 是就会出现错误,导入jar详细地址:http://blog.csdn.net/baolibin528/article/details/50316067
(鲍神博客))
下图为导入好的
这里写图片描述
3
JDK 的版本(建议使用1.7)
scala 的版本
spark(与scala版本一致)) 版本都整合适
(温馨提示:scala的2.10.X 版本问题比较少,可以把选择这版本)
4 上面一切就绪才能进行面的写程序:

import scala.math.random
import org.apache.spark._

object Sparkpi{
def main(args: Array[String]) {
val cOnf= new SparkConf().setMaster(“local”).setAppName(“SparkPi”)
//创建环境变量 设置本地模式 设置所要执行APP的名字
val sc= new SparkContext(conf)
//创建环境变量实例
val slices = if (args.length > 0)
args(0).toInt else 2
val n = math.min(100000L * slices, Int.MaxValue).toInt
//随机产生100000个数
val count = sc.parallelize(1 until n, slices).map { i =>
val x = random * 2 - 1
val y = random * 2 - 1
if (x * x + y * y <1) 1 else 0
}.reduce(_ + _)
println(“Pi is rough:” + 4.0 * count / n)
sc.stop()
}
}
4
1. 按照上面的步骤成功,运行出结果![这里写图片描述]

(http://img.blog.csdn.net/20160502205827799)

  1. 按照上面的做法不成功,运行程序出错,
    这里写图片描述

    1.若是上面的这个错误, 请加入.setMaster(“local”)这个参数

这里写图片描述

2 若是上面的错误 (a master url must be set………)
请将你的hadoop下bin打开

这里写图片描述

请给你的bin加以下的文件:这里写图片描述
<上面的文件你可以到这个地址下载:https://github.com/srccodes/hadoop-common-2.2.0-bin/tree/master/bin
要全部下载下来,并且加入到你的hadoop的bin:>
加入后:
这里写图片描述

然后修改(windows)环境变量:
添加 HADOOP_HOME +你的hadoop的地址
添加path ;%HADOOP_HOME%\bin
![这里写图片描述]

(http://img.blog.csdn.net/20160502211335310)

并重启电脑!
5 重启之后打开ij 运行程序出现下面的问题:![这里写图片描述]

(http://img.blog.csdn.net/20160502211520492)

解决方法:请把去掉local!!!!

这里写图片描述

6 重新运行程序

这里写图片描述
顺利解决问题!

结束语:bin文件下不了的, 可以联系我 1074359360@qq.com


推荐阅读
  • 本文探讨了如何使用Scrapy框架构建高效的数据采集系统,以及如何通过异步处理技术提升数据存储的效率。同时,文章还介绍了针对不同网站采用的不同采集策略。 ... [详细]
  • 本文详细介绍如何在SSM(Spring + Spring MVC + MyBatis)框架中实现分页功能。包括分页的基本概念、数据准备、前端分页栏的设计与实现、后端分页逻辑的编写以及最终的测试步骤。 ... [详细]
  • 本文详细介绍了如何使用C#实现不同类型的系统服务账户(如Windows服务、计划任务和IIS应用池)的密码重置方法。 ... [详细]
  • 本文回顾了作者在求职阿里和腾讯实习生过程中,从最初的迷茫到最后成功获得Offer的心路历程。文中不仅分享了个人的面试经历,还提供了宝贵的面试准备建议和技巧。 ... [详细]
  • 使用TabActivity实现Android顶部选项卡功能
    本文介绍如何通过继承TabActivity来创建Android应用中的顶部选项卡。通过简单的步骤,您可以轻松地添加多个选项卡,并实现基本的界面切换功能。 ... [详细]
  • 本文详细介绍了 Spark 中的弹性分布式数据集(RDD)及其常见的操作方法,包括 union、intersection、cartesian、subtract、join、cogroup 等转换操作,以及 count、collect、reduce、take、foreach、first、saveAsTextFile 等行动操作。 ... [详细]
  • 本文旨在探讨Swift中的Closure与Objective-C中的Block之间的区别与联系,通过定义、使用方式以及外部变量捕获等方面的比较,帮助开发者更好地理解这两种机制的特点及应用场景。 ... [详细]
  • 一、使用Microsoft.Office.Interop.Excel.DLL需要安装Office代码如下:2publicstaticboolExportExcel(S ... [详细]
  • C/C++ 应用程序的安装与卸载解决方案
    本文介绍了如何使用Inno Setup来创建C/C++应用程序的安装程序,包括自动检测并安装所需的运行库,确保应用能够顺利安装和卸载。 ... [详细]
  • 深入解析Unity3D游戏开发中的音频播放技术
    在游戏开发中,音频播放是提升玩家沉浸感的关键因素之一。本文将探讨如何在Unity3D中高效地管理和播放不同类型的游戏音频,包括背景音乐和效果音效,并介绍实现这些功能的具体步骤。 ... [详细]
  • Python3爬虫入门:pyspider的基本使用[python爬虫入门]
    Python学习网有大量免费的Python入门教程,欢迎大家来学习。本文主要通过爬取去哪儿网的旅游攻略来给大家介绍pyspid ... [详细]
  • 本文探讨了异步编程的发展历程,从最初的AJAX异步回调到现代的Promise、Generator+Co以及Async/Await等技术。文章详细分析了Promise的工作原理及其源码实现,帮助开发者更好地理解和使用这一重要工具。 ... [详细]
  • Android 中的布局方式之线性布局
    nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细]
  • 本指南从零开始介绍Scala编程语言的基础知识,重点讲解了Scala解释器REPL(读取-求值-打印-循环)的使用方法。REPL是Scala开发中的重要工具,能够帮助初学者快速理解和实践Scala的基本语法和特性。通过详细的示例和练习,读者将能够熟练掌握Scala的基础概念和编程技巧。 ... [详细]
  • Java虚拟机及其发展历程
    Java虚拟机(JVM)是每个Java开发者日常工作中不可或缺的一部分,但其背后的运作机制却往往显得神秘莫测。本文将探讨Java及其虚拟机的发展历程,帮助读者深入了解这一关键技术。 ... [详细]
author-avatar
撩人的东莞博文
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有