我必须执行同步（不仅仅是复制或移动）从 s3 到 google cloud 的所有存储桶。我需要创建与 s3 到 google 相同的基础架构。我在 s3 中有 2Tera，每天都会收到新文件。
我今天的解决方案是
gsutil rsync -r -m s3://存储桶 gs://存储桶
但这个解决方案比较慢。
您有更快减肥的想法吗？
谢谢。
答案1
如果您要在云之间同步大量数据，您可以考虑设置一个 Google Compute Engine 帐户并在其中运行 gsutil。由于跨提供商 gsutil 数据传输流经运行 gsutil 的机器，因此这样做可以使您的传输运行速度比在本地工作站上运行 gsutil 快得多。
参考：https://cloud.google.com/storage/docs/gsutil/commands/rsync
答案2
这个问题的最新答案是使用Google 传输服务：
什么是存储传输服务？
存储传输服务将数据从在线数据源传输到数据接收器。您的数据源可以是 Amazon Simple Storage Service (Amazon S3) 存储桶、HTTP/HTTPS 位置或 Cloud Storage 存储桶。您的数据接收器（目标）始终是 Cloud Storage 存储桶。