我需要将 S3 存储桶中的几百 GB 文件备份/同步到 openstack swift 容器。
我有数以千计的文件存储在多个 S3 存储桶中,我想通过 openstack swift 容器复制/同步这些文件,但我不想将它们复制到磁盘服务器上,然后将它们复制到 swift 容器中(我无法存储它们)。我还想通过使用 fuse 安装 s3 存储桶和 openstack swift 容器来避免使用服务器带宽。
理想的设置是从一端到另一端使用 api,因此当复制一个文件时,我可以从 openstack swift 获取文件的 url(例如从 aws 到 ovh 云存储)
source : https://s3.amazonaws.com/bucket/file.txt
destination : https://storage.bhs1.cloud.ovh.net/v1/AUTH_398y32kue/container/file.txt
答案1
我认为https://rclone.org可以提供您所需要的。