我们拥有越来越多的数据文件(.wav 文件、图像文件等),它们都是数据,即不属于应用程序代码的一部分 - 由用户上传和修改。文件数量达 1000 个,总大小达到 GB。
我们在世界各地 (美国、欧盟、中东) 拥有多个服务器集群。在每个集群中,重要的是数据在本地提供,而不是来自 S3 (数据文件不直接提供给客户端,而是由服务器处理)。我们希望在每个位置指定一个文件服务器,通过 NFS 将文件提供给同一集群中的其他节点。
因此,底线是:
- 通过应用程序上传的文件最终应位于 上
S3
。 - 每个文件服务器节点都应该复制这些文件。
我们看到了几种选择:
- 使用
origin
复制到备份/版本控制并通过(或类似方式)复制S3
到节点的文件服务器。rsync
- 与上面相同,但是从属设备
S3
使用诸如 S3 工具或类似工具进行复制。 - 不使用
origin
-app 代码直接上传到S3
,并且从属设备按上述方式复制。
我们想知道哪种是推荐的解决方案,以及复制部分有哪些可用的工具(即在文件系统到文件系统类别中,以及在文件系统/S3 类别中)。