我希望查看 JobHistory 日志,这些日志可以作为输入提供给瘤胃更具体地说,我有兴趣知道网格混合。
我尝试了以下两件事:
1) 我找到了这些文件:。这个文件到底是什么?这是 Rumen 的输出格式吗?与此类似的文件是否足以作为 Gridmix 的输入?
2) 我尝试查看 JobHistory 日志的另一种方法是设置 hadoop 并执行并查看一些日志。但是,我第一次设置 hadoop(Yarn 和 Map Reduce)。所以我对它的设置一无所知。我使用的是 Hadoop Yarn 的 3.0.0 版本。
我正在执行我的死刑伪分布式操作(JobHistory 日志是否在 Pseudo-Distributed_Operation 中生成?)。
我已按照建议启用了 Yarn 日志聚合这里。
这文章讨论了日志的位置。它说它位于 hdfs 中的以下目录中。
/user/uname/.staging/job_id/
但是,我找不到该目录。以下是我收到的错误消息。
bin/hdfs dfs -ls /user/uname/.staging
ls: `/user/uname/.staging': No such file or directory
我也尝试在本地文件系统中搜索 /user/uname/.staging。但是,我得到了相同的目录不存在错误。(这很明显,因为我没有创建任何目录。)但是,我在 HDFS 系统中创建了 /user/uname(在进行设置时,/user/uname/ 确实存在,但其中的 .staging 子目录未找到)。
这stackoverflow 答案确实谈到了类似的问题,但不是很清楚如何使它适应我的问题,而且这是针对旧版本的 Hadoop,似乎它不适用于 Hadoop-3.0.0
如果有人可以向我指出一些示例 Gridmix 输入或 Rumen(输入或输出),或者帮助我弄清楚我的执行生成的日志文件去向何处,那就太好了。