我们目前正在评估使用 Google Storage Nearline 进行备份。相关服务器位于 Hetzner 数据中心内，平均上行速度为 80-100Mbit/s，下行速度为 300-500Mbit/s。我们使用 Googlegsutil访问存储并使用其rsync命令同步我们的备份目录。虽然下载速度足够快，但上传文件需要的时间太长：最大上传速度约为 8-11Mbit/s。这只发生在gsutil备份存储位置，并不真正适用于备份存储位置。我知道大文件应该使用并行复合上传来上传，但是Google 建议不是为 Nearline 启用它。
现在，我的问题是，这些较低的上传速度是预料之中的吗？有没有办法优化它？事实上，我们生成的数据比我们能推送到 Google Storage 的数据要多，因此必须寻找其他解决方案。
答案1
如果你有大量对象需要同步，你可能需要使用gsutil -m选项，执行并行（多线程/多处理）同步：gsutil -m rsync -d -r data gs://mybucket/data
“使用 -d 选项时要小心！”。
答案2
给gcloud storage rsync尝试一下。它取代了gsutil并提供更好的表现这得益于更新的逻辑和并行传输优化。
对于托管解决方案，您还可以尝试存储转移服务它负责调度、错误检查并提供快速传输。