![将 900 万个](https://linux22.com/image/1596549/%E5%B0%86%20900%20%E4%B8%87%E4%B8%AA%20.png)
我有很多图像,分为大约 40 个文件夹,其中文件夹中最大的数量是 1280000 张图像,最小的只有 1 张图像。
我需要将这些图像传输到安装在准系统主机虚拟机上的 Google 云计算文件存储中,但要使用我测量过的 gcloud sdk scp 命令,640000 张图像大约需要 20 小时,所以我们将其称为 12 天。
尽管拥有 1Gbps 同步光纤连接进行上传,但情况仍然如此。
大多数与复制大量文件、大量小文件、大量总体数据等有关的答案都建议使用 rsync 来传输数据,但是,rsync 没有 gcloud compute 命令,事实上最有用的是 ssh 和 scp。
有人知道怎样将这些文件传输到云 nfs 文件存储,从而更有效地利用可用带宽吗?我原本想将文件打包,但这样压缩和解压也会花费很多时间,对吧?所以想知道最终这样做的好处有多大。
答案1
最后,由于无法使 rsync 从文件存储虚拟机中运行,从我的本地盒子中提取图像,我放弃了,并采取了以下措施:
ssh [email protected] 'tar -cf - -C /local/box/file/location .' | tar -xvf - -C /mnt/google/filestore/box/location
仅传输文件而不进行压缩。