热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

IntellijIDEA开发(local模式)提交运行Spark代码

这里我来说一下IntellijIDEA(local模式)如何在windows上运行sparkPi的程序:1首先下载IntellijIDEA

这里我来说一下Intellij IDEA(local模式) 如何在windows上运行spark Pi的程序:
1 首先下载Intellij IDEA 地址:
https://www.jetbrains.com/idea/download/#section=windows
这里写图片描述
点击相应的 window 下载
2 下载之后创建工程和类
(温馨提示 :在写这个程序程序之前请把所需要的jar包导入好 ,在进行写 import 是就会出现错误,导入jar详细地址:http://blog.csdn.net/baolibin528/article/details/50316067
(鲍神博客))
下图为导入好的
这里写图片描述
3
JDK 的版本(建议使用1.7)
scala 的版本
spark(与scala版本一致)) 版本都整合适
(温馨提示:scala的2.10.X 版本问题比较少,可以把选择这版本)
4 上面一切就绪才能进行面的写程序:

import scala.math.random
import org.apache.spark._

object Sparkpi{
def main(args: Array[String]) {
val cOnf= new SparkConf().setMaster(“local”).setAppName(“SparkPi”)
//创建环境变量 设置本地模式 设置所要执行APP的名字
val sc= new SparkContext(conf)
//创建环境变量实例
val slices = if (args.length > 0)
args(0).toInt else 2
val n = math.min(100000L * slices, Int.MaxValue).toInt
//随机产生100000个数
val count = sc.parallelize(1 until n, slices).map { i =>
val x = random * 2 - 1
val y = random * 2 - 1
if (x * x + y * y <1) 1 else 0
}.reduce(_ + _)
println(“Pi is rough:” + 4.0 * count / n)
sc.stop()
}
}
4
1. 按照上面的步骤成功,运行出结果![这里写图片描述]

(http://img.blog.csdn.net/20160502205827799)

  1. 按照上面的做法不成功,运行程序出错,
    这里写图片描述

    1.若是上面的这个错误, 请加入.setMaster(“local”)这个参数

这里写图片描述

2 若是上面的错误 (a master url must be set………)
请将你的hadoop下bin打开

这里写图片描述

请给你的bin加以下的文件:这里写图片描述
<上面的文件你可以到这个地址下载:https://github.com/srccodes/hadoop-common-2.2.0-bin/tree/master/bin
要全部下载下来,并且加入到你的hadoop的bin:>
加入后:
这里写图片描述

然后修改(windows)环境变量:
添加 HADOOP_HOME +你的hadoop的地址
添加path ;%HADOOP_HOME%\bin
![这里写图片描述]

(http://img.blog.csdn.net/20160502211335310)

并重启电脑!
5 重启之后打开ij 运行程序出现下面的问题:![这里写图片描述]

(http://img.blog.csdn.net/20160502211520492)

解决方法:请把去掉local!!!!

这里写图片描述

6 重新运行程序

这里写图片描述
顺利解决问题!

结束语:bin文件下不了的, 可以联系我 1074359360@qq.com


推荐阅读
  • 本文详细探讨了HTML表单中GET和POST请求的区别,包括它们的工作原理、数据传输方式、安全性及适用场景。同时,通过实例展示了如何在Servlet中处理这两种请求。 ... [详细]
  • 本文深入探讨了HTTP请求和响应对象的使用,详细介绍了如何通过响应对象向客户端发送数据、处理中文乱码问题以及常见的HTTP状态码。此外,还涵盖了文件下载、请求重定向、请求转发等高级功能。 ... [详细]
  • 本题探讨了在一个有向图中,如何根据特定规则将城市划分为若干个区域,使得每个区域内的城市之间能够相互到达,并且划分的区域数量最少。题目提供了时间限制和内存限制,要求在给定的城市和道路信息下,计算出最少需要划分的区域数量。 ... [详细]
  • 深入解析Redis内存对象模型
    本文详细介绍了Redis内存对象模型的关键知识点,包括内存统计、内存分配、数据存储细节及优化策略。通过实际案例和专业分析,帮助读者全面理解Redis内存管理机制。 ... [详细]
  • 对象自省自省在计算机编程领域里,是指在运行时判断一个对象的类型和能力。dir能够返回一个列表,列举了一个对象所拥有的属性和方法。my_list[ ... [详细]
  • 开发笔记:2020 BJDCTF Re encode
    开发笔记:2020 BJDCTF Re encode ... [详细]
  • PHP 过滤器详解
    本文深入探讨了 PHP 中的过滤器机制,包括常见的 $_SERVER 变量、filter_has_var() 函数、filter_id() 函数、filter_input() 函数及其数组形式、filter_list() 函数以及 filter_var() 和其数组形式。同时,详细介绍了各种过滤器的用途和用法。 ... [详细]
  • 在现代Web应用中,当用户滚动到页面底部时,自动加载更多内容的功能变得越来越普遍。这种无刷新加载技术不仅提升了用户体验,还优化了页面性能。本文将探讨如何实现这一功能,并介绍一些实际应用案例。 ... [详细]
  • 本文详细介绍了 org.apache.commons.io.IOCase 类中的 checkCompareTo() 方法,通过多个代码示例展示其在不同场景下的使用方法。 ... [详细]
  • 本文介绍如何使用 Python 的 Pandas 库中 Series 对象的 round() 方法,对数值进行四舍五入处理。该方法在数据预处理和分析中非常有用。 ... [详细]
  • 在网站制作中随时可用的10个 HTML5 代码片段
    HTML很容易写,但创建网页时,您经常需要重复做同样的任务,如创建表单。在这篇文章中,我收集了10个超有用的HTML代码片段,有HTML5启动模板、空白图片、打电话和发短信、自动完 ... [详细]
  • This pull request introduces the ability to provide comprehensive paragraph configurations directly within the Create Note and Create Paragraph REST endpoints, reducing the need for additional configuration calls. ... [详细]
  • 反向投影技术主要用于在大型输入图像中定位特定的小型模板图像。通过直方图对比,它能够识别出最匹配的区域或点,从而确定模板图像在输入图像中的位置。 ... [详细]
  • 本问题探讨了在特定条件下排列儿童队伍的方法数量。题目要求计算满足条件的队伍排列总数,并使用递推算法和大数处理技术来解决这一问题。 ... [详细]
  • 本文作者分享了在阿里巴巴获得实习offer的经历,包括五轮面试的详细内容和经验总结。其中四轮为技术面试,一轮为HR面试,涵盖了大量的Java技术和项目实践经验。 ... [详细]
author-avatar
撩人的东莞博文
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有