本地登录时无法建立 SSH 连接，反之亦然

Question

我在办公室设置了一个共享工作站（Ubuntu 23.04），我和我的同事主要通过 SSH 连接访问它，但是，如果我本地登录到该机器，其他用户就无法通过 SSH 访问它。同样的问题也出现在相反的方向，因此，如果用户通过 SSH 登录，我无法本地访问桌面会话（行为是它不响应任何输入，我无法登录）。

所以问题是：这可能吗？如果可能的话，我该如何实现它？

感谢您的回答！