开发笔记:大三上寒假15天第5天

作者：今日屎汰濃 | 来源：互联网 | 2023-10-14 17:56

篇首语：本文由编程笔记#小编为大家整理，主要介绍了大三上寒假15天--第5天相关的知识，希望对你有一定的参考价值。昨天的下载完成后运行报错，应该是下载的spark版本和教

篇首语：本文由编程笔记#小编为大家整理，主要介绍了大三上寒假15天--第5天相关的知识，希望对你有一定的参考价值。

昨天的下载完成后运行报错，应该是下载的spark版本和教程不符合，然后pom.xml文件中的spark-core内容而应该不同，但是我还是用的教程导致，现在正在尝试安装教程给的网站找的内容又下载中，不知道这次又要下载多久。（我下载的是spark 2.4.4）

技术图片

"1.0" encoding="UTF-8"?>
"http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">

spark-parent_2.11
org.apache.spark
2.4.4

4.0.0
spark-core_2.11
Spark Project Core
http://spark.apache.org/

target/scala-${scala.binary.version}/classes
target/scala-${scala.binary.version}/test-classes

${project.basedir}/src/main/resources

true
${project.build.directory}/extra-resources

maven-antrun-plugin

generate-resources

run

maven-dependency-plugin

copy-dependencies
package

copy-dependencies

${project.build.directory}
false
false
true
true
guava,jetty-io,jetty-servlet,jetty-servlets,jetty-continuation,jetty-http,jetty-plus,jetty-util,jetty-server,jetty-security,jetty-proxy,jetty-client
true

Windows

unix

sparkr

org.codehaus.mojo
exec-maven-plugin
1.6.0

sparkr-pkg
compile

exec

${project.basedir}${file.separator}..${file.separator}R${file.separator}install-dev${script.extension}

com.thoughtworks.paranamer
paranamer
2.8
runtime

org.apache.avro
avro
1.8.2
compile

org.apache.avro
avro-mapred
1.8.2
hadoop2
compile

netty
io.netty

jetty
org.mortbay.jetty

jetty-util
org.mortbay.jetty

servlet-api
org.mortbay.jetty

velocity
org.apache.velocity

com.google.guava
guava
14.0.1
provided

com.twitter
chill_2.11
0.9.3
compile

com.twitter
chill-java
0.9.3
compile

org.apache.xbean
xbean-asm6-shaded
4.8
compile

org.apache.hadoop
hadoop-client
2.6.5
compile

asm
asm

jackson-mapper-asl
org.codehaus.jackson

asm
org.ow2.asm

netty
org.jboss.netty

commons-beanutils-core
commons-beanutils

commons-logging
commons-logging

mockito-all
org.mockito

servlet-api-2.5
org.mortbay.jetty

servlet-api
javax.servlet

junit
junit

*
com.sun.jersey

*
com.sun.jersey.jersey-test-framework

*
com.sun.jersey.contribs

jets3t
net.java.dev.jets3t

org.apache.spark
spark-launcher_2.11
2.4.4
compile

org.apache.spark
spark-kvstore_2.11
2.4.4
compile

org.apache.spark
spark-network-common_2.11
2.4.4
compile

org.apache.spark
spark-network-shuffle_2.11
2.4.4
compile

org.apache.spark
spark-unsafe_2.11
2.4.4
compile

javax.activation
activation
1.1.1
compile

org.apache.curator
curator-recipes
2.6.0
compile

netty
org.jboss.netty

jline
jline

org.apache.zookeeper
zookeeper
3.4.6
compile

netty
org.jboss.netty

jline
jline

javax.servlet
javax.servlet-api
3.1.0
compile

org.apache.commons
commons-lang3
3.5
compile

org.apache.commons
commons-math3
3.4.1
compile

com.google.code.findbugs
jsr305
1.3.9
compile

org.slf4j
slf4j-api
1.7.16
compile

org.slf4j
jul-to-slf4j
1.7.16
compile

org.slf4j
jcl-over-slf4j
1.7.16
compile

log4j
log4j
1.2.17
compile

org.slf4j
slf4j-log4j12
1.7.16
compile

com.ning
compress-lzf
1.0.3
compile

org.xerial.snappy
snappy-java
1.1.7.3
compile

org.lz4
lz4-java
1.4.0
compile

com.github.luben
zstd-jni
1.3.2-2
compile

org.roaringbitmap
RoaringBitmap
0.7.45
compile

commons-net
commons-net
3.1
compile

org.scala-lang
scala-library
2.11.12
compile

org.json4s
json4s-jackson_2.11
3.5.3
compile

*
com.fasterxml.jackson.core

org.glassfish.jersey.core
jersey-client
2.22.2
compile

org.glassfish.jersey.core
jersey-common
2.22.2
compile

org.glassfish.jersey.core
jersey-server
2.22.2
compile

org.glassfish.jersey.containers
jersey-container-servlet
2.22.2
compile

org.glassfish.jersey.containers
jersey-container-servlet-core
2.22.2
compile

io.netty
netty-all
4.1.17.Final
compile

io.netty
netty
3.9.9.Final
compile

com.clearspring.analytics
stream
2.7.0
compile

fastutil
it.unimi.dsi

io.dropwizard.metrics
metrics-core
3.1.5
compile

io.dropwizard.metrics
metrics-jvm
3.1.5
compile

io.dropwizard.metrics
metrics-json
3.1.5
compile

io.dropwizard.metrics
metrics-graphite
3.1.5
compile

com.fasterxml.jackson.core
jackson-databind
2.6.7.1
compile

com.fasterxml.jackson.module
jackson-module-scala_2.11
2.6.7.1
compile

guava
com.google.guava

org.apache.derby
derby
10.12.1.1
test

org.apache.ivy
ivy
2.4.0
compile

oro
oro
2.0.8
compile

org.seleniumhq.selenium
selenium-java
2.52.0
test

guava
com.google.guava

netty
io.netty

selenium-chrome-driver
org.seleniumhq.selenium

selenium-edge-driver
org.seleniumhq.selenium

selenium-firefox-driver
org.seleniumhq.selenium

selenium-ie-driver
org.seleniumhq.selenium

selenium-safari-driver
org.seleniumhq.selenium

selenium-support
org.seleniumhq.selenium

webbit
org.webbitserver

selenium-leg-rc
org.seleniumhq.selenium

org.seleniumhq.selenium
selenium-htmlunit-driver
2.52.0
test

htmlunit
net.sourceforge.htmlunit

selenium-support
org.seleniumhq.selenium

xml-apis
xml-apis
1.4.01
test

org.hamcrest
hamcrest-core
1.3
test

org.hamcrest
hamcrest-library
1.3
test

org.mockito
mockito-core
1.10.19
test

org.scalacheck
scalacheck_2.11
1.13.5
test

test-interface
org.scala-sbt

org.apache.curator
curator-test
2.6.0
test

commons-math
org.apache.commons

net.razorvine
pyrolite
4.13
compile

serpent
net.razorvine

net.sf.py4j
py4j
0.10.7
compile

org.apache.spark
spark-tags_2.11
2.4.4
compile

org.apache.spark
spark-launcher_2.11
2.4.4
tests
test

org.apache.spark
spark-tags_2.11
2.4.4
test-jar
test

org.apache.commons
commons-crypto
1.0.0
compile

jna
net.java.dev.jna

org.spark-project.hive
hive-exec
1.2.1.spark2
provided

hive-metastore
org.spark-project.hive

hive-shims
org.spark-project.hive

hive-ant
org.spark-project.hive

spark-client
org.spark-project.hive

ant
ant

ant
org.apache.ant

kryo
com.esotericsoftware.kryo

commons-codec
commons-codec

commons-httpclient
commons-httpclient

avro-mapred
org.apache.avro

calcite-core
org.apache.calcite

apache-curator
org.apache.curator

curator-client
org.apache.curator

curator-framework
org.apache.curator

libthrift
org.apache.thrift

libfb303
org.apache.thrift

zookeeper
org.apache.zookeeper

slf4j-api
org.slf4j

slf4j-log4j12
org.slf4j

log4j
log4j

commons-logging
commons-logging

groovy-all
org.codehaus.groovy

jline
jline

json
org.json

javolution
javolution

apache-log4j-extras
log4j

antlr-runtime
org.antlr

ST4
org.antlr

jodd-core
org.jodd

datanucleus-core
org.datanucleus

calcite-avatica
org.apache.calcite

JavaEWAH
com.googlecode.javaewah

snappy
org.iq80.snappy

stax-api
stax

opencsv
net.sf.opencsv

org.spark-project.hive
hive-metastore
1.2.1.spark2
provided

hive-serde
org.spark-project.hive

hive-shims
org.spark-project.hive

libfb303
org.apache.thrift

libthrift
org.apache.thrift

servlet-api
org.mortbay.jetty

guava
com.google.guava

slf4j-api
org.slf4j

slf4j-log4j12
org.slf4j

bonecp
com.jolbox

datanucleus-api-jdo
org.datanucleus

datanucleus-rdbms
org.datanucleus

commons-pool
commons-pool

commons-dbcp
commons-dbcp

jdo-api
javax.jdo

datanucleus-core
org.datanucleus

antlr-runtime
org.antlr

org.apache.thrift
libthrift
0.9.3
provided

slf4j-api
org.slf4j

org.apache.thrift
libfb303
0.9.3
provided

slf4j-api
org.slf4j

org.scalatest
scalatest_2.11
3.0.3
test

scalactic_2.11
org.scalactic

scala-parser-combinators_2.11
org.scala-lang.modules

junit
junit
4.12
test

com.novocode
junit-interface
0.11
test

test-interface
org.scala-sbt

core

推荐阅读

io
使用Service Locator模式实现高效的服务命名访问

本文探讨了如何通过Service Locator模式来简化和优化在B/S架构中的服务命名访问，特别是对于需要频繁访问的服务，如JNDI和XMLNS。该模式通过缓存机制减少了重复查找的成本，并提供了对多种服务的统一访问接口。 ... [详细]

蜡笔小新 2024-11-20 19:26:30
io
Maven + Spring + MyBatis + MySQL 环境搭建与实例解析

本文详细介绍如何使用MySQL数据库进行环境搭建，包括创建数据库表并插入示例数据。随后，逐步指导如何配置Maven项目，整合Spring框架与MyBatis，实现高效的数据访问。 ... [详细]

蜡笔小新 2024-11-21 18:39:23
io
CentOS 中 SWAP 分区的创建与管理

本文详细介绍了在 CentOS 系统中如何创建和管理 SWAP 分区，包括临时创建交换文件、永久性增加交换空间的方法，以及如何手动释放内存缓存。 ... [详细]

蜡笔小新 2024-11-21 19:01:54
io
使用TabActivity实现Android顶部选项卡功能

本文介绍如何通过继承TabActivity来创建Android应用中的顶部选项卡。通过简单的步骤，您可以轻松地添加多个选项卡，并实现基本的界面切换功能。 ... [详细]

蜡笔小新 2024-11-21 17:47:42
io
Spring AOP学习笔记Advice执行顺序

一、Advice执行顺序二、Advice在同一个Aspect中三、Advice在不同的Aspect中一、Advice执行顺序如果多个Advice和同一个JointPoint连接& ... [详细]

蜡笔小新 2024-11-21 15:28:36
io
Singleton单例模式和DoubleChecked Locking双重检查锁定模式

问题描述现在，不管开发一个多大的系统（至少我现在的部门是这样的），都会带一个日志功能；在实际开发过程中 ... [详细]

蜡笔小新 2024-11-21 15:14:45
io
入门指南：使用FastRPC技术连接Qualcomm Hexagon DSP

本文旨在为初学者提供关于如何使用FastRPC技术连接Qualcomm Hexagon DSP的基础知识。FastRPC技术允许开发者在本地客户端实现远程调用，从而简化Hexagon DSP的开发和调试过程。 ... [详细]

蜡笔小新 2024-11-21 10:03:34
io
Web动态服务器Python基本实现

Web动态服务器Python基本实现 ... [详细]

蜡笔小新 2024-11-21 08:01:30
io
设置Shadowsocks公共代理的关键步骤

本文详细介绍了如何正确设置Shadowsocks公共代理，包括调整超时设置、检查系统限制、防止滥用及遵守DMCA法规等关键步骤。 ... [详细]

蜡笔小新 2024-11-20 20:41:33
io
流处理中的计数挑战与解决方案

本文探讨了在流处理中进行计数的各种技术和挑战，并基于作者在2016年圣何塞举行的Hadoop World大会上的演讲进行了深入分析。文章不仅介绍了传统批处理和Lambda架构的局限性，还详细探讨了流处理架构的优势及其在现代大数据应用中的重要作用。 ... [详细]

蜡笔小新 2024-11-20 13:50:01
io
Windows环境下Apache频繁崩溃的解决方案

本文探讨了在Windows系统中运行Apache服务器时频繁出现崩溃的问题，并提供了多种可能的解决方案和建议。错误日志显示多个子进程因达到最大请求限制而退出。 ... [详细]

蜡笔小新 2024-11-20 13:07:27
io
解决Spring Cloud Eureka自定义端口时连接错误的问题

在尝试通过自定义端口部署Spring Cloud Eureka时遇到了连接失败的问题。本文详细描述了问题的现象，并提供了有效的解决方案，以帮助遇到类似情况的开发者。 ... [详细]

蜡笔小新 2024-11-20 13:05:47
io
如何使用 org.apache.tinkerpop.gremlin.structure.VertexProperty 的 key 方法

本文详细介绍了 `org.apache.tinkerpop.gremlin.structure.VertexProperty` 类中的 `key()` 方法，并提供了多个实际应用的代码示例。通过这些示例，读者可以更好地理解该方法在图数据库操作中的具体用途。 ... [详细]

蜡笔小新 2024-11-21 17:38:10
io
探索阿里巴巴的开源世界

从理想主义者的内心深处萌发的技术信仰，推动了云原生技术在全球范围内的快速发展。本文将带你深入了解阿里巴巴在开源领域的贡献与成就。 ... [详细]

蜡笔小新 2024-11-21 09:06:54
io
Android与JUnit集成测试实践

本文探讨了如何在Android项目中集成JUnit进行单元测试，并详细介绍了修改AndroidManifest.xml文件以支持测试的方法。 ... [详细]

蜡笔小新 2024-11-20 18:30:14

今日屎汰濃

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章