GCP 按需虚拟机在运行计算时断开“服务器连接错误”

Question

我在 GCP 的按需 VM 上运行工作台笔记本。每隔两三天，我在计算过程中就会收到以下错误：

服务器连接错误

无法与 Jupyter 服务器建立连接。JupyterLab 将继续尝试重新连接。请检查您的网络连接或 Jupyter 服务器配置。

所有工作都丢失了。我觉得这很奇怪，因为按需 VM 不应该断开连接。

可能有哪些原因？

Answer 1

使用可抢占式虚拟机有 24 小时的使用时间或令牌使用时间。该继承的安全功能使 Notebooks 不适合长时间运行的作业，因为它会让您刷新 Notebook 并导致执行单元丢失状态。

虽然拥有按需 VM，但这种情况不应该发生。我能想到可能发生的 3 件事：

• 发生了某些事情（例如：网络中断、用户会​​话过期）。
• Jupyter 使该会话无效并创建一个新的会话。
• 笔记本页面变为无内核。

缓解此问题的一些解决方法是：

• 使用Vertex AI 训练 使用自定义训练创建模型。
• 使用Vertex AI Workbench 笔记本执行器，因为它将使用笔记本作为训练作业。