我想要在CDH4中设置HDFS权限，要求如下： 每个人都可以读取所有 HDFS 目录中的所有内容 每个用户只能写入 HDFS 上的其用户目录 除非是可以在任何地方写入的特殊用户 这是要求的简化版本，但这是一个好的开始。 问题是 - 我该如何配置它？我必须设置 Kerberos 吗？Cloudera 安全指南仅讨论 Kerberos，但我认为目前我不需要强大的身份验证方案。 由于我是 Hadoop 新手，因此循序渐进的指南确实很有帮助。 ...
我正在使用 Flume flume-ng-1.5.0 (带有 CDH 5.4) 从许多服务器收集日志并接收器到 HDFS 以下是我的配置： #Define Source , Sinks, Channel collector.sources = avro collector.sinks = HadoopOut collector.channels = fileChannel # Define Scribe Interface collector.sources.avro.type = avro collector.sources.avro.bind = ...
我尝试使用 CDH4.7 设置一个 4 节点 Hadoop 集群。集群启动并运行良好，当我提交字数统计 MR 作业时，它成功完成，但当我提交 MR 作业以将数据插入 HBase 时，它抛出了类未找到错误。因此，我将 hbase jar 从 hbase lib 复制到 hadoop lib。现在它运行良好。 我的问题是：我的方法正确吗？我觉得我不应该将 hbase jar 复制到 hadoop lib 文件夹中。 有人能建议什么是最好的方法吗？我们需要设置任何环境变量吗？还是 Cloudera Manager 自己执行此操作？ ...
我们最近向集群添加了新节点，我想运行重新平衡器以在这些节点之间分配数据。我们正在使用 CDH3，整个系统都是 cheffed - 我甚至不确定这些盒子上是否安装了 cloudera 管理器。 如果没有 Cloudera Manager，我能否运行平衡器？重新分配的正确方法是什么？ 如果这是一个非常明显的问题，请原谅，我在 Google 上搜索了很多，也搜索了这里的问题，但没有成功，因此提出了这些问题。 附言：我别无选择，只能将其放入 CDH4 中，因为它不允许我创建 CDH3 标签。 ...
我得到的印象是，可以将多个 JobTracker 节点配置为共享同一组 MR（TaskTracker）节点。我知道，按照惯例，Hadoop 集群中的所有节点都应具有相同的配置文件集（通常/etc/hadoop/conf/至少对于 Cloudera Distribution of Hadoop（CDH）而言）。我们可以在 中定义多个作业跟踪器吗mapred-site.xml？类似于： <configuration> <property> <name>mapred.job.tracker</name&g...
我正在 AWS 中设置 CDH4 以供评估（我们已经在 Ubuntu Lucid 上运行了 CHD3），如果在 Lucid 与 Precise 上运行它，我可能会遇到任何已知的问题，我希望得到一些建议。 在 Lucid 下设置测试集群是否更安全...更类似于我们现有的生产系统；还是在 Precise 下设置？大多数（多数）开发和测试社区都在哪个操作系统下运行它？ ...