首页    技术博客    PHP教程    数据库技术    前端开发   HTML5    Nginx    php论坛
新用户注册 | 会员登录
加入会员，解锁专属内容
取消
热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

开发笔记:大三上寒假15天第5天

作者：今日屎汰濃 | 来源：互联网 | 2023-10-14 17:56
篇首语：本文由编程笔记#小编为大家整理，主要介绍了大三上寒假15天--第5天相关的知识，希望对你有一定的参考价值。昨天的下载完成后运行报错，应该是下载的spark版本和教

篇首语：本文由编程笔记#小编为大家整理，主要介绍了大三上寒假15天--第5天相关的知识，希望对你有一定的参考价值。


昨天的下载完成后运行报错，应该是下载的spark版本和教程不符合，然后pom.xml文件中的spark-core内容而应该不同，但是我还是用的教程导致，现在正在尝试安装教程给的网站找的内容又下载中，不知道这次又要下载多久。（我下载的是spark 2.4.4）

技术图片

 

 


"1.0" encoding="UTF-8"?>
"http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">

spark-parent_2.11
org.apache.spark
2.4.4

4.0.0
spark-core_2.11
Spark Project Core
http://spark.apache.org/

target/scala-${scala.binary.version}/classes
target/scala-${scala.binary.version}/test-classes


${project.basedir}/src/main/resources


true
${project.build.directory}/extra-resources




maven-antrun-plugin


generate-resources

run














maven-dependency-plugin


copy-dependencies
package

copy-dependencies


${project.build.directory}
false
false
true
true
guava,jetty-io,jetty-servlet,jetty-servlets,jetty-continuation,jetty-http,jetty-plus,jetty-util,jetty-server,jetty-security,jetty-proxy,jetty-client
true








Windows





unix





sparkr



org.codehaus.mojo
exec-maven-plugin
1.6.0


sparkr-pkg
compile

exec




${project.basedir}${file.separator}..${file.separator}R${file.separator}install-dev${script.extension}








com.thoughtworks.paranamer
paranamer
2.8
runtime


org.apache.avro
avro
1.8.2
compile


org.apache.avro
avro-mapred
1.8.2
hadoop2
compile


netty
io.netty


jetty
org.mortbay.jetty


jetty-util
org.mortbay.jetty


servlet-api
org.mortbay.jetty


velocity
org.apache.velocity




com.google.guava
guava
14.0.1
provided


com.twitter
chill_2.11
0.9.3
compile


com.twitter
chill-java
0.9.3
compile


org.apache.xbean
xbean-asm6-shaded
4.8
compile


org.apache.hadoop
hadoop-client
2.6.5
compile


asm
asm


jackson-mapper-asl
org.codehaus.jackson


asm
org.ow2.asm


netty
org.jboss.netty


commons-beanutils-core
commons-beanutils


commons-logging
commons-logging


mockito-all
org.mockito


servlet-api-2.5
org.mortbay.jetty


servlet-api
javax.servlet


junit
junit


*
com.sun.jersey


*
com.sun.jersey.jersey-test-framework


*
com.sun.jersey.contribs


jets3t
net.java.dev.jets3t




org.apache.spark
spark-launcher_2.11
2.4.4
compile


org.apache.spark
spark-kvstore_2.11
2.4.4
compile


org.apache.spark
spark-network-common_2.11
2.4.4
compile


org.apache.spark
spark-network-shuffle_2.11
2.4.4
compile


org.apache.spark
spark-unsafe_2.11
2.4.4
compile


javax.activation
activation
1.1.1
compile


org.apache.curator
curator-recipes
2.6.0
compile


netty
org.jboss.netty


jline
jline




org.apache.zookeeper
zookeeper
3.4.6
compile


netty
org.jboss.netty


jline
jline




javax.servlet
javax.servlet-api
3.1.0
compile


org.apache.commons
commons-lang3
3.5
compile


org.apache.commons
commons-math3
3.4.1
compile


com.google.code.findbugs
jsr305
1.3.9
compile


org.slf4j
slf4j-api
1.7.16
compile


org.slf4j
jul-to-slf4j
1.7.16
compile


org.slf4j
jcl-over-slf4j
1.7.16
compile


log4j
log4j
1.2.17
compile


org.slf4j
slf4j-log4j12
1.7.16
compile


com.ning
compress-lzf
1.0.3
compile


org.xerial.snappy
snappy-java
1.1.7.3
compile


org.lz4
lz4-java
1.4.0
compile


com.github.luben
zstd-jni
1.3.2-2
compile


org.roaringbitmap
RoaringBitmap
0.7.45
compile


commons-net
commons-net
3.1
compile


org.scala-lang
scala-library
2.11.12
compile


org.json4s
json4s-jackson_2.11
3.5.3
compile


*
com.fasterxml.jackson.core




org.glassfish.jersey.core
jersey-client
2.22.2
compile


org.glassfish.jersey.core
jersey-common
2.22.2
compile


org.glassfish.jersey.core
jersey-server
2.22.2
compile


org.glassfish.jersey.containers
jersey-container-servlet
2.22.2
compile


org.glassfish.jersey.containers
jersey-container-servlet-core
2.22.2
compile


io.netty
netty-all
4.1.17.Final
compile


io.netty
netty
3.9.9.Final
compile


com.clearspring.analytics
stream
2.7.0
compile


fastutil
it.unimi.dsi




io.dropwizard.metrics
metrics-core
3.1.5
compile


io.dropwizard.metrics
metrics-jvm
3.1.5
compile


io.dropwizard.metrics
metrics-json
3.1.5
compile


io.dropwizard.metrics
metrics-graphite
3.1.5
compile


com.fasterxml.jackson.core
jackson-databind
2.6.7.1
compile


com.fasterxml.jackson.module
jackson-module-scala_2.11
2.6.7.1
compile


guava
com.google.guava




org.apache.derby
derby
10.12.1.1
test


org.apache.ivy
ivy
2.4.0
compile


oro
oro
2.0.8
compile


org.seleniumhq.selenium
selenium-java
2.52.0
test


guava
com.google.guava


netty
io.netty


selenium-chrome-driver
org.seleniumhq.selenium


selenium-edge-driver
org.seleniumhq.selenium


selenium-firefox-driver
org.seleniumhq.selenium


selenium-ie-driver
org.seleniumhq.selenium


selenium-safari-driver
org.seleniumhq.selenium


selenium-support
org.seleniumhq.selenium


webbit
org.webbitserver


selenium-leg-rc
org.seleniumhq.selenium




org.seleniumhq.selenium
selenium-htmlunit-driver
2.52.0
test


htmlunit
net.sourceforge.htmlunit


selenium-support
org.seleniumhq.selenium




xml-apis
xml-apis
1.4.01
test


org.hamcrest
hamcrest-core
1.3
test


org.hamcrest
hamcrest-library
1.3
test


org.mockito
mockito-core
1.10.19
test


org.scalacheck
scalacheck_2.11
1.13.5
test


test-interface
org.scala-sbt




org.apache.curator
curator-test
2.6.0
test


commons-math
org.apache.commons




net.razorvine
pyrolite
4.13
compile


serpent
net.razorvine




net.sf.py4j
py4j
0.10.7
compile


org.apache.spark
spark-tags_2.11
2.4.4
compile


org.apache.spark
spark-launcher_2.11
2.4.4
tests
test


org.apache.spark
spark-tags_2.11
2.4.4
test-jar
test


org.apache.commons
commons-crypto
1.0.0
compile


jna
net.java.dev.jna




org.spark-project.hive
hive-exec
1.2.1.spark2
provided


hive-metastore
org.spark-project.hive


hive-shims
org.spark-project.hive


hive-ant
org.spark-project.hive


spark-client
org.spark-project.hive


ant
ant


ant
org.apache.ant


kryo
com.esotericsoftware.kryo


commons-codec
commons-codec


commons-httpclient
commons-httpclient


avro-mapred
org.apache.avro


calcite-core
org.apache.calcite


apache-curator
org.apache.curator


curator-client
org.apache.curator


curator-framework
org.apache.curator


libthrift
org.apache.thrift


libfb303
org.apache.thrift


zookeeper
org.apache.zookeeper


slf4j-api
org.slf4j


slf4j-log4j12
org.slf4j


log4j
log4j


commons-logging
commons-logging


groovy-all
org.codehaus.groovy


jline
jline


json
org.json


javolution
javolution


apache-log4j-extras
log4j


antlr-runtime
org.antlr


ST4
org.antlr


jodd-core
org.jodd


datanucleus-core
org.datanucleus


calcite-avatica
org.apache.calcite


JavaEWAH
com.googlecode.javaewah


snappy
org.iq80.snappy


stax-api
stax


opencsv
net.sf.opencsv




org.spark-project.hive
hive-metastore
1.2.1.spark2
provided


hive-serde
org.spark-project.hive


hive-shims
org.spark-project.hive


libfb303
org.apache.thrift


libthrift
org.apache.thrift


servlet-api
org.mortbay.jetty


guava
com.google.guava


slf4j-api
org.slf4j


slf4j-log4j12
org.slf4j


bonecp
com.jolbox


datanucleus-api-jdo
org.datanucleus


datanucleus-rdbms
org.datanucleus


commons-pool
commons-pool


commons-dbcp
commons-dbcp


jdo-api
javax.jdo


datanucleus-core
org.datanucleus


antlr-runtime
org.antlr




org.apache.thrift
libthrift
0.9.3
provided


slf4j-api
org.slf4j




org.apache.thrift
libfb303
0.9.3
provided


slf4j-api
org.slf4j




org.scalatest
scalatest_2.11
3.0.3
test


scalactic_2.11
org.scalactic


scala-parser-combinators_2.11
org.scala-lang.modules




junit
junit
4.12
test


com.novocode
junit-interface
0.11
test


test-interface
org.scala-sbt





core


 


推荐阅读
  • utf-8

    深入解析Spring启动过程

    深入解析Spring启动过程
    本文详细介绍了Spring框架的启动流程，帮助开发者理解其内部机制。通过具体示例和代码片段，解释了Bean定义、工厂类、读取器以及条件评估等关键概念，使读者能够更全面地掌握Spring的初始化过程。 ... [详细]
  • utf-8

    Struts与Spring框架的集成指南

    Struts与Spring框架的集成指南
    本文详细介绍了如何将Struts和Spring两个流行的Java Web开发框架进行整合，涵盖从环境配置到代码实现的具体步骤。 ... [详细]
  • get

    CentOS7源码编译安装MySQL5.6

    CentOS7源码编译安装MySQL5.6
    2019独角兽企业重金招聘Python工程师标准一、先在cmake官网下个最新的cmake源码包cmake官网：https:www.cmake.org如此时最新 ... [详细]
  • utf-8

    解析JSON格式文本并处理数据

    本文介绍如何使用阿里云的fastjson库解析包含时间戳、IP地址和参数等信息的JSON格式文本，并进行数据处理和保存。 ... [详细]
  • utf-8

    在Android中排列多行小部件 - Arranging Rows of Widgets in Android

    本文介绍如何使用布局文件在Android应用中排列多行TextView和Button，使其占据屏幕的特定比例，并提供示例代码以帮助理解和实现。 ... [详细]
  • utf-8

    Android 自定义绘图板应用

    本文介绍如何使用 Android 的 Canvas 和 View 组件创建一个简单的绘图板应用程序，支持触摸绘画和保存图片功能。 ... [详细]
  • get

    新浪笔试题

    1:有如下一段程序：packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]
  • get

    网络链路质量监控：Smokeping部署与配置

    本文详细介绍了如何在Linux系统上安装和配置Smokeping，以实现对网络链路质量的实时监控。通过详细的步骤和必要的依赖包安装，确保用户能够顺利完成部署并优化其网络性能监控。 ... [详细]
  • get

    RecyclerView初步学习(一)

    RecyclerView初步学习(一)
    RecyclerView初步学习(一)ReCyclerView提供了一种插件式的编程模式，除了提供ViewHolder缓存模式，还可以自定义动画，分割符，布局样式，相比于传统的ListVi ... [详细]
  • schema

    Hadoop入门与核心组件详解

    Hadoop入门与核心组件详解
    本文详细介绍了Hadoop的基础知识及其核心组件，包括HDFS、MapReduce和YARN。通过本文，读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]
  • utf-8

    Scala 实现 UTF-8 编码属性文件读取与克隆

    Scala 实现 UTF-8 编码属性文件读取与克隆
    本文介绍如何使用 Scala 以 UTF-8 编码方式读取属性文件，并实现属性文件的克隆功能。通过这种方式，可以确保配置文件在多线程环境下的一致性和高效性。 ... [详细]
  • spring

    深入理解领域驱动设计及其实践

    本文探讨了领域驱动设计（DDD）的核心概念、应用场景及其实现方式，详细介绍了其在企业级软件开发中的优势和挑战。通过对比事务脚本与领域模型，展示了DDD如何提升系统的可维护性和扩展性。 ... [详细]
  • utf-8

    PostgreSQL 10 离线安装指南

    PostgreSQL 10 离线安装指南
    本文详细介绍了如何在无法联网的服务器上进行 PostgreSQL 10 的离线安装，并涵盖了从下载安装包到配置远程访问的完整步骤。 ... [详细]
  • utf-8

    HTTP请求与响应机制详解

    本文深入探讨了HTTP请求和响应对象的使用，详细介绍了如何通过响应对象向客户端发送数据、处理中文乱码问题以及常见的HTTP状态码。此外，还涵盖了文件下载、请求重定向、请求转发等高级功能。 ... [详细]
  • utf-8

    JSON 解析失败问题排查

    在PHP后端开发中遇到一个难题：通过第三方类文件发送短信功能返回的JSON字符串无法解析。本文将探讨可能的原因并提供解决方案。 ... [详细]
author-avatar
今日屎汰濃
这个家伙很懒，什么也没留下！
Tags | 热门标签
RankList | 热门文章
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有