S3 上传可行性

S3 上传可行性

我已经在 AWS 论坛上问过这个问题,但尚未收到答复,因此我想稍微提出一下,看看这里是否有人对此有所了解:

我们有一位客户正在谈论明年做一个项目,该项目将在 24 小时内让多达 1000 万人上传最多 5 个 4MB 的文件。

我想知道这对于 s3 来说是否太多了以至于无法应对,或者也许它是微不足道的以至于不会引起任何问题。

如果我们将这些数字作为最大值,那么快速粗略估计将得到

1000 万 X 5 X 4 = 200,000,000MB = 200TB

我们将观察 24 小时内的平均传输率

每小时 8TB 每分钟 140GB 每秒 2.3 GB

这显然没有考虑到使用高峰。

那么,这是‘天啊,这太疯狂了’还是‘是的,应该没问题’,或者介于两者之间?

提前致谢!

答案1

这是 1x 24 小时事件/峰值,还是您每 24 小时的数据都是滚动的?如果是后者,我会回头质疑您的数据,因为这听起来像是在一段持续时间内上传流量非常大。

如果我们谈论的是 1x 24 小时事件,那么总共就是 200TB。简单来说,这相当于 200 个 1TB 硬盘(不考虑 RAID 配置等)。我相信 Amazon S3 可以轻松处理。

至于上传/传输速率,Amazon S3 是大规模分布的,因此您无法尝试通过单个链路在单台机器上实现每秒 2.3Gb 的速率。

答案2

我刚刚收到亚马逊论坛上一位用户的回复:

https://forums.aws.amazon.com/thread.jspa?threadID=77419&tstart=0

你好,

S3 的设计从一开始就考虑到了处理任何互联网应用程序的流量。我不明白您的用例为何会造成任何问题。

听起来我们应该没事。祝你好运!

相关内容