尝试运行 Hive 并出现错误：“java.lang.IllegalArgumentException：无法识别的 Hadoop 主版本号：3.0.0-alpha1”

Question 1

您有重复的 slf4j 日志记录 jar，您可以删除这个库：

rm -r -f /home/hduser/hive/lib/log4j-slf4j-impl-2.4.1.jar

Answer

您有重复的 slf4j 日志记录 jar，您可以删除这个库：

rm -r -f /home/hduser/hive/lib/log4j-slf4j-impl-2.4.1.jar

Question 2

我检查了日志中的错误，详细信息如下：

如果你检查相应的源文件。位置路径是 $HIVE_SRC_HOME\shims\common\src\main\java\org\apache\hadoop\hive\shims\ShimLoader.java，你会发现它是兼容性问题（重点关注代码的注释）。

/**
 * Return the "major" version of Hadoop currently on the classpath.
 * Releases in the 1.x and 2.x series are mapped to the appropriate
 * 0.x release series, e.g. 1.x is mapped to "0.20S" and 2.x
 * is mapped to "0.23".
 */
public static String getMajorVersion() {
  String vers = VersionInfo.getVersion();

  String[] parts = vers.split("\\.");
  if (parts.length < 2) {
    throw new RuntimeException("Illegal Hadoop Version: " + vers +
        " (expected A.B.* format)");
  }

  switch (Integer.parseInt(parts[0])) {
  case 2:
    return HADOOP23VERSIONNAME;
  default:
    throw new IllegalArgumentException("Unrecognized Hadoop major version number: " + vers);
  }
}

所以答案是也许你会降级 Hadoop 版本如果你认为可以通过欺骗编译（修改版本）并且 Hadoop 2.x 看起来（实际上是 Hadoop 3.x）可以很好地适配 Hive 2.x，那么你可以尝试一下。

注意，您可能会遇到更多不可思议的问题。

Answer

我检查了日志中的错误，详细信息如下：

如果你检查相应的源文件。位置路径是 $HIVE_SRC_HOME\shims\common\src\main\java\org\apache\hadoop\hive\shims\ShimLoader.java，你会发现它是兼容性问题（重点关注代码的注释）。

/**
 * Return the "major" version of Hadoop currently on the classpath.
 * Releases in the 1.x and 2.x series are mapped to the appropriate
 * 0.x release series, e.g. 1.x is mapped to "0.20S" and 2.x
 * is mapped to "0.23".
 */
public static String getMajorVersion() {
  String vers = VersionInfo.getVersion();

  String[] parts = vers.split("\\.");
  if (parts.length < 2) {
    throw new RuntimeException("Illegal Hadoop Version: " + vers +
        " (expected A.B.* format)");
  }

  switch (Integer.parseInt(parts[0])) {
  case 2:
    return HADOOP23VERSIONNAME;
  default:
    throw new IllegalArgumentException("Unrecognized Hadoop major version number: " + vers);
  }
}

所以答案是也许你会降级 Hadoop 版本如果你认为可以通过欺骗编译（修改版本）并且 Hadoop 2.x 看起来（实际上是 Hadoop 3.x）可以很好地适配 Hive 2.x，那么你可以尝试一下。

注意，您可能会遇到更多不可思议的问题。

尝试运行 Hive 并出现错误：“java.lang.IllegalArgumentException：无法识别的 Hadoop 主版本号：3.0.0-alpha1”

答案1

答案2

相关内容