可以防止 Hadoop 作业覆盖 -Xmx 吗?

可以防止 Hadoop 作业覆盖 -Xmx 吗?

我有一个运行 Hadoop-0.20.2 的共享集群。有时用户没有意识到所选的默认内存设置是基于可用内存量的。我可以强制 Xmx 的最大值吗?

答案1

在 hadoop-env.sh 中有一个用于此的配置选项:

# The maximum amount of heap to use, in MB. Default is 1000.
export HADOOP_HEAPSIZE=1500

该文件存在于 namenode 以及所有 map/reducers 上

相关内容