使用 GCP 与 Bucket 互连(Cloud Storage API)

使用 GCP 与 Bucket 互连(Cloud Storage API)

我正在尝试使用本地计算资源 + Google Cloud Platform 实现混合工作流程。该系统运行良好,但我们的上传速度非常慢,因此这是我们管道的主要障碍(每次运行约 300GB 数据),我们每周大约上传 5-10 次,通常使用的上传速度gsutil非常5.5 mbps糟糕!

为了上传大量数据,我们进行了研究,并设法获得了与特定项目 (projectIC) 相连的互连连接。[互连基本上是一条专用管道,可以更快地到达 GCP] - 成功了,如果我在 projectIC 中启动虚拟机,我就可以从我们的内部网络 ping 内部 IP。我还可以进行简单的scp传输,大约22mbps- 这又是一个好消息!

然而,我们依靠gsutil将数据传输到云。这是工作流程的一部分,也是存储数据的推荐方法(在存储桶中,而不是在虚拟机上)

另一个问题是互连是特定于项目的,并且希望将其他项目连接到该项目(研究如下所示)

我是一名具有基本云经验的软件开发人员,也愿意学习,但只是需要有人为我指明正确的方向。

有两个明显的解决方案:1.从本地上传到虚拟机到BUCKET2.将互连连接到云API - 不确定这是否可行。

经过一番研究,我相信这些是我需要采取的步骤:

  1. 在 projectIC 和 projectOTHER 中创建 VPC 网络
  2. 更新防火墙规则
  3. 为 projectIC 和 projectOTHER 创建 VPN
  4. 为 projectIC 和 projectOTHER 创建 CloudRouter
  5. 为 projectIC 和 projectOTHER 创建(至少 2 个)VPN 隧道
  6. BGP 路由(用于路由流量)

此时,我应该能够通过 VPN 隧道从 projectOTHER 通信到 projectIC。如果上述内容正确,那么就解决了我的一个问题。如果有办法连接云 API,那么当我使用gsutil cp <local-file> gs://<some-bucket>它时应该使用专用管道并给我(至少 22.2mbps,高于当前的 5.5mbps)

我希望我已经很好地解释了我的问题。任何建议或指导都将不胜感激。如果您需要更多信息,请告诉我!

似乎这个问题还没有得到解决,我仍然无法使用与 GCP 存储桶的互连。这里没有 GCP 专业人士吗?

答案1

您可以使用共享 VPC以此目的:

共享 VPC 允许组织将来自多个项目的资源连接到公共虚拟私有云 (VPC) 网络,以便它们可以使用该网络的内部 IP 安全高效地相互通信。

另一种方法是使用VPC 网络对等连接

VPC 网络对等连接可让您连接 VPC 网络,以便不同 VPC 网络中的工作负载可以进行内部通信。流量保留在 Google 网络中,不会穿越公共互联网。

哪一个会更好,很大程度上取决于项目的具体情况,你可以找到这两个的有用比较这里

答案2

使用 VLAN 附件将多个 VPC 连接到您的互连。

使用私有 Google 访问权限从本地访问 Google API 和服务(例如 Cloud Storage)。这将需要在本地更新路由器。如果您使用合作伙伴互连,他们应该能够为您提供帮助。

相关内容