无法使用 sudo 运行 spark-submit

无法使用 sudo 运行 spark-submit

我不知道这是不是新手问题,但我用谷歌搜索后没有得到任何结果。

当我运行我的应用程序时,它在后台使用 spark-submit,没有 sudo,它可以工作。但是当我使用 sudo 时,它只是显示“未找到 spark-submit”或其他类似信息。

经过(不太多)进一步检查:which spark-submit 产生结果,而 sudo which spark-submit 没有。

我使用 sudo visudo 编辑了安全路径,保存了更改,但仍然没有任何反应。

编辑:哇,我真是笨得跟石头一样。我将 spark 的主文件夹添加到了 sudoers 文件中,我应该添加它的 /bin。现在 sudo which spark-submit 产生了正确的结果。

但即使现在,spark-submit 仍然没有被找到。

答案1

我尝试在 Makefile 上运行这个程序,所以我修改了 Makefile,让它运行 /path/to/the/absolute/location/spark-submit,而不仅仅是 spark-submit,现在它就可以正常工作了。谁能想到呢。

相关内容