EBS、EFs、FSx 和 S3 是否可以将数据提供给分布式机器学习模型?

EBS、EFs、FSx 和 S3 是否可以将数据提供给分布式机器学习模型?

假设有 1TB 的数据需要同时提供给 100 个 EC2 消费者实例。每个实例访问大小为 10MB 的随机数据块。在 AWS 提供的 4 种不同文件存储系统之间进行选择时,需要考虑哪些因素?

答案1

您首先需要回答的一个问题是这些 EC2 实例是什么操作系统?Linux、Windows 还是两者的混合。对于 Linux,EFS 和 S3 都可以,S3 会便宜很多。如果您使用的是 Windows,我会坚持使用 EBS 或 FSx。如果您使用的是两者的混合,我会考虑使用 FSx

相关内容