文件数据备份、版本控制和复制解决方案

文件数据备份、版本控制和复制解决方案

我们拥有越来越多的数据文件(.wav 文件、图像文件等),它们都是数据,即不属于应用程序代码的一部分 - 由用户上传和修改。文件数量达 1000 个,总大小达到 GB。

我们在世界各地 (美国、欧盟、中东) 拥有多个服务器集群。在每个集群中,重要的是数据在本地提供,而不是来自 S3 (数据文件不直接提供给客户端,而是由服务器处理)。我们希望在每个位置指定一个文件服务器,通过 NFS 将文件提供给同一集群中的其他节点。

因此,底线是:

  • 通过应用程序上传的文件最终应位于 上S3
  • 每个文件服务器节点都应该复制这些文件。

我们看到了几种选择:

  • 使用origin复制到备份/版本控制并通过(或类似方式)复制S3到节点的文件服务器。rsync
  • 与上面相同,但是从属设备S3使用诸如 S3 工具或类似工具进行复制。
  • 不使用origin-app 代码直接上传到S3,并且从属设备按上述方式复制。

我们想知道哪种是推荐的解决方案,以及复制部分有哪些可用的工具(即在文件系统到文件系统类别中,以及在文件系统/S3 类别中)。

相关内容