☰

FTP 至 GCS 传输

tag-icon • tag-icon backup ftp sftp google-cloud-storage
FTP 至 GCS 传输

我想知道是否有一种有效的方法可以将文件从 (S)FTP 服务器 (Exavault) 备份到 Google Cloud Storage (GCS)。我们正在使用托管 FTP 服务 Exavault，并希望定期将文件备份到 GCS，然后从 Exavault 中清除超过 30 天的文件。

当前实施（非常慢）：

  1. 使用以下方式将 FTP 挂载到 Google Compute Instance 上的文件系统curlftpfs
  2. 运行gsutil rsync以将文件从已挂载的存储同步到 GCS Bucket
  3. 根据修改时间+30删除文件

这种方法运行起来确实很慢，而且我认为目前它不是一个合理的解决方案。

是否有任何解决方案可以更有效地处理约 500GB 的数据？

答案1

多个 ftp 客户端，通过将系统中的每个顶级目录挂载为单独的 curlftpfs。如果带宽达到最大值，则发送到多个云服务器。

离线媒体导入。假设您可以让每个人都参与处理物理媒体。

答案2

您是否考虑过使用商业软件来加速您的 GCS 备份？FileCatalyst Server 有一个选项可以将 GCS 安装为文件系统。然后，您可以使用任何 FileCatalyst 客户端应用程序（HotFolder、CLI、基于 Web）将文件传输到 FileCatalyst Server，并将 GCS 安装为虚拟文件夹。

以下是产品链接：https://filecatalyst.com/solutions/filecatalyst-direct/

是的，我在 FileCatalyst 工作。

相关内容