热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

IntellijIDEA开发(local模式)提交运行Spark代码

这里我来说一下IntellijIDEA(local模式)如何在windows上运行sparkPi的程序:1首先下载IntellijIDEA

这里我来说一下Intellij IDEA(local模式) 如何在windows上运行spark Pi的程序:
1 首先下载Intellij IDEA 地址:
https://www.jetbrains.com/idea/download/#section=windows
这里写图片描述
点击相应的 window 下载
2 下载之后创建工程和类
(温馨提示 :在写这个程序程序之前请把所需要的jar包导入好 ,在进行写 import 是就会出现错误,导入jar详细地址:http://blog.csdn.net/baolibin528/article/details/50316067
(鲍神博客))
下图为导入好的
这里写图片描述
3
JDK 的版本(建议使用1.7)
scala 的版本
spark(与scala版本一致)) 版本都整合适
(温馨提示:scala的2.10.X 版本问题比较少,可以把选择这版本)
4 上面一切就绪才能进行面的写程序:

import scala.math.random
import org.apache.spark._

object Sparkpi{
def main(args: Array[String]) {
val cOnf= new SparkConf().setMaster(“local”).setAppName(“SparkPi”)
//创建环境变量 设置本地模式 设置所要执行APP的名字
val sc= new SparkContext(conf)
//创建环境变量实例
val slices = if (args.length > 0)
args(0).toInt else 2
val n = math.min(100000L * slices, Int.MaxValue).toInt
//随机产生100000个数
val count = sc.parallelize(1 until n, slices).map { i =>
val x = random * 2 - 1
val y = random * 2 - 1
if (x * x + y * y <1) 1 else 0
}.reduce(_ + _)
println(“Pi is rough:” + 4.0 * count / n)
sc.stop()
}
}
4
1. 按照上面的步骤成功,运行出结果![这里写图片描述]

(http://img.blog.csdn.net/20160502205827799)

  1. 按照上面的做法不成功,运行程序出错,
    这里写图片描述

    1.若是上面的这个错误, 请加入.setMaster(“local”)这个参数

这里写图片描述

2 若是上面的错误 (a master url must be set………)
请将你的hadoop下bin打开

这里写图片描述

请给你的bin加以下的文件:这里写图片描述
<上面的文件你可以到这个地址下载:https://github.com/srccodes/hadoop-common-2.2.0-bin/tree/master/bin
要全部下载下来,并且加入到你的hadoop的bin:>
加入后:
这里写图片描述

然后修改(windows)环境变量:
添加 HADOOP_HOME +你的hadoop的地址
添加path ;%HADOOP_HOME%\bin
![这里写图片描述]

(http://img.blog.csdn.net/20160502211335310)

并重启电脑!
5 重启之后打开ij 运行程序出现下面的问题:![这里写图片描述]

(http://img.blog.csdn.net/20160502211520492)

解决方法:请把去掉local!!!!

这里写图片描述

6 重新运行程序

这里写图片描述
顺利解决问题!

结束语:bin文件下不了的, 可以联系我 1074359360@qq.com


推荐阅读
  • Windows服务与数据库交互问题解析
    本文探讨了在Windows 10(64位)环境下开发的Windows服务,旨在定期向本地MS SQL Server (v.11)插入记录。尽管服务已成功安装并运行,但记录并未正确插入。我们将详细分析可能的原因及解决方案。 ... [详细]
  • 本文将介绍如何编写一些有趣的VBScript脚本,这些脚本可以在朋友之间进行无害的恶作剧。通过简单的代码示例,帮助您了解VBScript的基本语法和功能。 ... [详细]
  • DNN Community 和 Professional 版本的主要差异
    本文详细解析了 DotNetNuke (DNN) 的两种主要版本:Community 和 Professional。通过对比两者的功能和附加组件,帮助用户选择最适合其需求的版本。 ... [详细]
  • 本文介绍如何通过注册表编辑器自定义和优化Windows文件右键菜单,包括删除不需要的菜单项、添加绿色版或非安装版软件以及将特定应用程序(如Sublime Text)添加到右键菜单中。 ... [详细]
  • 本文详细介绍了中央电视台电影频道的节目预告,并通过专业工具分析了其加载方式,确保用户能够获取最准确的电视节目信息。 ... [详细]
  • 使用GDI的一些AIP函数我们可以轻易的绘制出简 ... [详细]
  • dotnet 通过 Elmish.WPF 使用 F# 编写 WPF 应用
    本文来安利大家一个有趣而且强大的库,通过F#和C#混合编程编写WPF应用,可以在WPF中使用到F#强大的数据处理能力在GitHub上完全开源Elmis ... [详细]
  • 深入解析Android自定义View面试题
    本文探讨了Android Launcher开发中自定义View的重要性,并通过一道经典的面试题,帮助开发者更好地理解自定义View的实现细节。文章不仅涵盖了基础知识,还提供了实际操作建议。 ... [详细]
  • 优化ListView性能
    本文深入探讨了如何通过多种技术手段优化ListView的性能,包括视图复用、ViewHolder模式、分批加载数据、图片优化及内存管理等。这些方法能够显著提升应用的响应速度和用户体验。 ... [详细]
  • 本文介绍了如何在C#中启动一个应用程序,并通过枚举窗口来获取其主窗口句柄。当使用Process类启动程序时,我们通常只能获得进程的句柄,而主窗口句柄可能为0。因此,我们需要使用API函数和回调机制来准确获取主窗口句柄。 ... [详细]
  • 本文探讨了如何优化和正确配置Kafka Streams应用程序以确保准确的状态存储查询。通过调整配置参数和代码逻辑,可以有效解决数据不一致的问题。 ... [详细]
  • 本教程涵盖OpenGL基础操作及直线光栅化技术,包括点的绘制、简单图形绘制、直线绘制以及DDA和中点画线算法。通过逐步实践,帮助读者掌握OpenGL的基本使用方法。 ... [详细]
  • 基因组浏览器中的Wig格式解析
    本文详细介绍了Wiggle(Wig)格式及其在基因组浏览器中的应用,涵盖variableStep和fixedStep两种主要格式的特点、适用场景及具体使用方法。同时,还提供了关于数据值和自定义参数的补充信息。 ... [详细]
  • 1:有如下一段程序:packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]
  • 本文探讨了 Objective-C 中的一些重要语法特性,包括 goto 语句、块(block)的使用、访问修饰符以及属性管理等。通过实例代码和详细解释,帮助开发者更好地理解和应用这些特性。 ... [详细]
author-avatar
撩人的东莞博文
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有