☰

如何在没有 HDFS 的情况下运行 MapReduce 作业？

tag-icon • tag-icon mount hadoop
如何在没有 HDFS 的情况下运行 MapReduce 作业？

因此，我使用具有 8 个节点的 Hadoop，所有节点都配置为工作节点（我对 namenode/datanodes 架构不感兴趣，我只需要它们作为在没有 HDFS 的 yarn 上运行的计算节点，因为我使用另一个文件系统进行数据存储）。我在 core-site.xml 中添加了以下配置：

<property>
        <name>fs.defaultFS</name>
        <value>viewfs:///</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp/</value>
</property>
<property>
        <name>fs.AbstractFileSystem.file.impl</name>
        <value>org.apache.hadoop.fs.local.LocalFs</value>
</property>
<property>
        <name>fs.viewfs.mounttable.default.link./tmp</name>
        <value>file:/tmp/hadoop_fuse/hadoop/tmp</value>
</property>
<property>
        <name>fs.viewfs.mounttable.default.link./user</name>
        <value>file:/tmp/hadoop_fuse/hadoop/user</value>
</property>

</configuration>

当我运行 TestDFSIO 时出现错误：

java.io.FileNotFoundException：文件/目录不存在：/benchmarks

我如何运行此作业并使其将数据存储在挂载点 /tmp/hadoop_fuse/？

相关内容