hdfs 配置

hdfs 配置

我是新手。尝试在我的实验室中设置一个 hdfs 系统来提供我的数据(我不打算使用 mapreduce)。

到目前为止,我已经阅读了集群设置,但我仍然感到困惑。几个问题:

  • 我需要一个辅助名称节点吗?
  • 有 2 个文件,主文件和从文件。即使我只想要 hdfs,我真的需要这两个文件吗?如果我需要它们,应该放在那里什么?我假设我的 namenode 是主文件,而 datanode 是从文件?我需要从属节点吗
  • namenode、secondary namenode、datanode 和客户端需要哪些配置文件?(我假设这 4 个都需要 core-site.xml)?此外,有人可以建议一个好的配置模型吗?namenode、secondary namenode、datanode 和客户端的示例配置将非常有帮助。

我感到很困惑,因为似乎大多数文档都假设我想使用 map-reduce,但事实并非如此。

答案1

回答你的前两个问题 1. 不,如果你不关心 namenode 是否崩溃,你不需要辅助 namenode 2. 你需要从属文件来使用 hadoop bash 命令 start-dfs.sh 从 namenode 启动 datanode 守护进程。如果你不想使用辅助 namenode,则不需要主文件

对于你的第三个问题,有关于如何安装小型 Hadoop 集群的分步文档 http://www.hadoop-blog.com/2010/11/how-to-quickly-install-hadoop-020-in.html

请仔细阅读,您可以跳过有关 JobTracker 和 Tasktrackers 的步骤,这足以启动您的 HDFS。

相关内容