☰

在 Hadoop 2.5 上安装 Spark

tag-icon • tag-icon apache2 java hadoop scala
在 Hadoop 2.5 上安装 Spark

我在 Windows 7 上的 Oracle VM 上的 Ubuntu 上运行 Hadoop。尝试安装 Spark在现有的 Hadoop 安装上。出于演示目的，我不想更改现有的 Hadoop 版本。以下是我的 VM 中的软件版本。

Ubuntu：14.04

Java：Java 1.7 和 OpenJDK 运行环境（IcedTea 2.5.2）

Hadoop：2.5.0

我发现对于 Hadoop 我需要安装 Spark 1.6.2。当我尝试下载 Spark 1.6它没有提供 Hadoop 2.5 的选项，但提供了 2.4 和 2.6 的选项。Spark 1.6 可以在 Hadoop 2.4 上运行吗？

我想了解在 Hadoop 2.5 上安装 Spark 的 Spark、Scala 和 Java 的适当平台要求。

答案1

您可以通过安装为任何 Hadoop 版本构建 sparkmaven并按照以下步骤操作：

  1. 下载spark源代码。

  2. 运行以下命令：

    tar -xvzf spark-1.6.2.tgz

    cd spark-1.6.2

    mvn -Pyarn -Phadoop-2.5 -Dhadoop.version=2.5.0 -DskipTests clean package

相关内容