![FTP 至 GCS 传输](https://linux22.com/image/692947/FTP%20%E8%87%B3%20GCS%20%E4%BC%A0%E8%BE%93.png)
我想知道是否有一种有效的方法可以将文件从 (S)FTP 服务器 (Exavault) 备份到 Google Cloud Storage (GCS)。我们正在使用托管 FTP 服务 Exavault,并希望定期将文件备份到 GCS,然后从 Exavault 中清除超过 30 天的文件。
当前实施(非常慢):
- 使用以下方式将 FTP 挂载到 Google Compute Instance 上的文件系统
curlftpfs
- 运行
gsutil rsync
以将文件从已挂载的存储同步到 GCS Bucket - 根据修改时间+30删除文件
这种方法运行起来确实很慢,而且我认为目前它不是一个合理的解决方案。
是否有任何解决方案可以更有效地处理约 500GB 的数据?
答案1
多个 ftp 客户端,通过将系统中的每个顶级目录挂载为单独的 curlftpfs。如果带宽达到最大值,则发送到多个云服务器。
离线媒体导入。假设您可以让每个人都参与处理物理媒体。
答案2
您是否考虑过使用商业软件来加速您的 GCS 备份?FileCatalyst Server 有一个选项可以将 GCS 安装为文件系统。然后,您可以使用任何 FileCatalyst 客户端应用程序(HotFolder、CLI、基于 Web)将文件传输到 FileCatalyst Server,并将 GCS 安装为虚拟文件夹。
以下是产品链接:https://filecatalyst.com/solutions/filecatalyst-direct/
是的,我在 FileCatalyst 工作。