对于一个大学项目,我需要访问 Spark UI,但我真的不知道如何才能做到这一点或者是否有可能。
设置如下。
使用 putty,我可以通过 ssh 访问跳转服务器,然后从那里通过 ssh 访问实际的 Spark 服务器。一切设置完毕,历史服务器可以访问(我使用 w3m 浏览器检查过)。但我需要一个具有 JavaScript 功能的“实际”浏览器来使用 Spark UI,我需要它来获取统计数据。
我已经安装了 Firefox,目前它显示“未指定 DISPLAY 环境变量”。
所以,情况就是这样,而且,我真的不知道如何让 Spark 服务器上的 Firefox 运行,然后真正访问网页,因为我必须以某种方式将其发送到跳转服务器,然后再发送给我。如果有人能帮忙,我将不胜感激。
答案1
您有两种“简单”的隧道策略,您可以隧道 X11 或 spark 服务器流量。
隧道X11:
mybox$ ssh -X box1
box1$ ssh -X box2
box2$ firefox # (must be an X11 version browser)
隧道 Spark 端口:
mybox$ ssh -L 7077:localhost:7077 box1
box1$ ssh -L 7077:localhost:$SPARKPORT box2
box2$
现在,您可以将机器上的 Web 浏览器指向 localhost:7077,它将创建与 box2:$SPARKPORT 的连接
我喜欢隧道端口而不是 X11 流量,这样你就可以使用你通常使用的浏览器。由你决定。