如何让 Hadoop 在 Windows 10 Pro x64（AMD）上运行？ 每个 stackoverflow 文章，甚至 Hadoop 上的文档都是多年前的，已经过时了，并且不起作用，有些东西已经发生了变化，文档不同步 - 非常糟糕。 我创建了一个 Windows 环境变量 HADOOP_HOME = C:\hadoop，并将 hadoop.dll 和 winutils.exe 放在 %HADOOP_HOME%\bin 中，但仍然没有任何作用。 我将 %HADOOP_HOME%\bin 添加到 PATH 是否有人在上个月内这样做过？可以分享一下你采取的...
我们正在尝试在两台不同的机器上设置双节点 Hadoop 集群。两台机器上都已设置了无需密码的 SSH 到本地主机。Hadoop 可以在每台单独的机器上作为单节点运行良好。 我们正处于使用 ssh 连接到对方服务器并尝试将公钥复制到对方的 .ssh 文件夹的阶段。但问题是我们似乎甚至无法通过 ip 找到服务器： 这是我尝试 ssh 到另一台机器时得到的结果： ssh -v jingfang@hadoop-master OpenSSH_7.6p1 Ubuntu-4ubuntu0.3, OpenSSL 1.0.2n 7 Dec 2017 debug1: ...
我是 docker 新手，想设置 Hadoop 容器，首先为它创建 ssh-server 容器，以便于调试，因为我的第一个容器运行良好，可以登录 ssh 本地主机 在容器内无需任何密码。 ssh-容器： https://github.com/nitesh-kumar-sharma/hands-dirty-docker/blob/master/hadoop/Dockerfile docker build -t ssh-local . docker run -d ssh-local 建立成功!! Hadoop容器： https://gith...
我在自己的硬件上启动了一个小型 Hadoop 集群用于实验，有三个数据节点，磁盘空间为 30GB。后来我又添加了两个节点，每个节点有 200GB，现在我的集群大约有 420GB。我的副本因子是 2。今天我的起始数据节点已满，即使新数据节点有可用空间，当集群尝试复制块时，集群上的写入也会失败。我假设名称节点正在尝试将块复制到已满的数据节点。我一直在阅读有关管理卷写入的策略 (dfs.datanode.fsdataset.volume.choosing.policy) 的信息，但似乎对数据节点上的副本过程没有影响。 有没有一种方法或策略可以在数据节点已满时忽略写...
我已经关注这本教程用于在 Ubuntu 18.04 虚拟机（4 核和 10 GB 内存）上安装 Hadoop，用于学习目的。我已成功完成所有步骤，没有任何错误。这些是我的所有配置文件： 核心站点.xml hdfs-site.xml 纱线-站点.xml mapred-站点.xml 该hadoop/bin/hdfs namenode -format命令按预期工作。 问题是启动dfs和yarn服务时，命令hadoop/sbin/start-dfs.sh和hadoop/sbin/start-yarn.sh没有显示任何错误，但是当我执行时jps，datan...
Hive 3.1.2 Hadoop 3.2.1 当我在命令行中运行 hive 时，它会告诉我以下错误消息： which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin) SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/hadoop/apache-hive-3.1.2-bin/lib/log4j-slf4j-impl...
我也遇到了同样的问题Hadoop 3.2.1 namenode 格式 根据要求将此作为新问题提出，并提供更多详细信息： 这发生在桌面、Windows 10、64 位、应用了所有 Windows 更新的情况下。 遵循所有说明https://dev.to/awwsmm/installing-and-running-hadoop-and-spark-on-windows-33kc。例外：a) Hadoop 3.2.1（在这个问题上受阻后，尝试了 Hadoop 3.1.0 和 Hadoop 2.8.0）b) apache-hadoop-3.1.0-winut...
%20%E5%8D%A1%E4%BD%8F.png)
我使用官网提供的vmware添加新的集群动作，尝试用两个节点进行部署，重复几次总是卡在这个阶段，找不到问题所在。 在此处输入图片描述 请帮忙，谢谢。 ...
我正在尝试在具有 1 个名称节点和 3 个数据节点的 Hadoop（3.2.0）多节点集群上安装 Apache Hive（3.1.1）。 我已经关注入门教程在 apache 网站上一步一步地操作，但是当运行“hive”命令时，我在 hive.log 文件中得到了一个非常长的堆栈跟踪，同时在实际控制台中还出现了一些其他问题。 控制台错误与多个 SLF4J 绑定有关： > SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found > binding in > [jar...
创建数据库时出现 Kerberos 错误 Loading random data Initializing database '/var/lib/krb5kadc/principal' for realm 'HADOOP.COM', master key name 'K/[email protected]' You will be prompted for the database Master Password. It is important that you NOT FORGET this password. Enter KDC datab...
我已将 Apache Kylin 连接到我们的 Microsoft SQL 数据仓库，当尝试构建多维数据集时，该过程失败并出现以下错误： 19/06/25 15:35:54 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7.3.0.1.0-187 19/06/25 15:35:54 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 19/06/25 1...
在集群模式下。我们在 Hadoop 中运行不同的 I/O 测试。我们注意到写入数据的速度比读取数据的速度快。如何提高读取吞吐量，使其与写入吞吐量一样快。这是配置问题吗？ ...
我很难找到有关此问题的信息，因为我的搜索结果中很多都是关于从属于集群的机器复制文件的基本信息。 问题：我有一个运行 hdfs 的 Hadoop 3 节点集群。一切运行正常。我可以使用文件视图，可以从 Windows 向其复制文件，可以从本地文件系统向 hdfs 复制文件，还可以查看目录、创建、删除等。 我有另一台不属于集群的机器。它正在运行 Dremio（仅供参考），它也是处理我最终需要复制到 hdfs 文件系统的文件的机器。Dremio 运行良好，但我正在尝试从这台机器访问 hdfs 文件系统，但我并不完全确定我应该如何正确地执行此操作。 由于我运行...
我正在使用带有 Hadoop 多节点集群的 sqoop 1.4.7。 我在 sqoop 导入方面遇到问题（sqoop 列表表和列表数据库工作正常）。我在单独的 VM（ubuntu）中有一个名称节点和 2 个数据节点。 当我执行 sqoop 导入时，它停止于 INFO mapreduce.Job：正在运行的作业：job_1559401109250_0003 并且不会继续该过程，并且不会在 HDFS 中找到任何内容！ 附言： 我添加了 mysl-connector-java bin.jar！ 我可以正常将其他文件添加到我的 HDFS。 ...
因此，我使用具有 8 个节点的 Hadoop，所有节点都配置为工作节点（我对 namenode/datanodes 架构不感兴趣，我只需要它们作为在没有 HDFS 的 yarn 上运行的计算节点，因为我使用另一个文件系统进行数据存储）。我在 core-site.xml 中添加了以下配置： <property> <name>fs.defaultFS</name> <value>viewfs:///</value> </property> <prope...