我已经Hadoop 3.0.0
安装好了。我现在应该从该页面安装Apache Spark 的带或不带版本的Apache Spark 吗?
我正在按照本指南开始使用Apache Spark。
它说
从以下链接下载最新版本的Apache Spark(根据您的Hadoop版本预先构建):...
但是我很困惑。如果我已经在机器上运行了Hadoop实例,然后下载,安装并运行Apache-Spark-WITH-Hadoop,它是否会启动另一个Hadoop实例?
首先,据我所知,Spark尚不支持Hadoop 3。您会注意到,“您的Hadoop版本”没有可供下载的可用选项。
不过,无论下载哪个版本,都可以在spark-env.sh中尝试设置HADOOP_CONF_DIR
和HADOOP_HOME
。
如果已经拥有Hadoop,则应始终下载该版本。
它不会启动另一个Hadoop实例吗?
否。您仍然需要显式配置并启动该版本的Hadoop。
我相信该Spark选项已配置为使用随附的Hadoop