我正在尝试使用本地计算资源 + Google Cloud Platform 实现混合工作流程。该系统运行良好,但我们的上传速度非常慢,因此这是我们管道的主要障碍(每次运行约 300GB 数据),我们每周大约上传 5-10 次,通常使用的上传速度gsutil
非常5.5 mbps
糟糕!
为了上传大量数据,我们进行了研究,并设法获得了与特定项目 (projectIC) 相连的互连连接。[互连基本上是一条专用管道,可以更快地到达 GCP] - 成功了,如果我在 projectIC 中启动虚拟机,我就可以从我们的内部网络 ping 内部 IP。我还可以进行简单的scp
传输,大约22mbps
- 这又是一个好消息!
然而,我们依靠gsutil
将数据传输到云。这是工作流程的一部分,也是存储数据的推荐方法(在存储桶中,而不是在虚拟机上)
另一个问题是互连是特定于项目的,并且希望将其他项目连接到该项目(研究如下所示)
我是一名具有基本云经验的软件开发人员,也愿意学习,但只是需要有人为我指明正确的方向。
有两个明显的解决方案:1.从本地上传到虚拟机到BUCKET2.将互连连接到云API - 不确定这是否可行。
经过一番研究,我相信这些是我需要采取的步骤:
- 在 projectIC 和 projectOTHER 中创建 VPC 网络
- 更新防火墙规则
- 为 projectIC 和 projectOTHER 创建 VPN
- 为 projectIC 和 projectOTHER 创建 CloudRouter
- 为 projectIC 和 projectOTHER 创建(至少 2 个)VPN 隧道
- BGP 路由(用于路由流量)
此时,我应该能够通过 VPN 隧道从 projectOTHER 通信到 projectIC。如果上述内容正确,那么就解决了我的一个问题。如果有办法连接云 API,那么当我使用gsutil cp <local-file> gs://<some-bucket>
它时应该使用专用管道并给我(至少 22.2mbps,高于当前的 5.5mbps)
我希望我已经很好地解释了我的问题。任何建议或指导都将不胜感激。如果您需要更多信息,请告诉我!
似乎这个问题还没有得到解决,我仍然无法使用与 GCP 存储桶的互连。这里没有 GCP 专业人士吗?
答案1
您可以使用共享 VPC以此目的:
共享 VPC 允许组织将来自多个项目的资源连接到公共虚拟私有云 (VPC) 网络,以便它们可以使用该网络的内部 IP 安全高效地相互通信。
另一种方法是使用VPC 网络对等连接:
VPC 网络对等连接可让您连接 VPC 网络,以便不同 VPC 网络中的工作负载可以进行内部通信。流量保留在 Google 网络中,不会穿越公共互联网。
哪一个会更好,很大程度上取决于项目的具体情况,你可以找到这两个的有用比较这里。
答案2
使用 VLAN 附件将多个 VPC 连接到您的互连。
使用私有 Google 访问权限从本地访问 Google API 和服务(例如 Cloud Storage)。这将需要在本地更新路由器。如果您使用合作伙伴互连,他们应该能够为您提供帮助。