我已经在 AWS 论坛上问过这个问题,但尚未收到答复,因此我想稍微提出一下,看看这里是否有人对此有所了解:
我们有一位客户正在谈论明年做一个项目,该项目将在 24 小时内让多达 1000 万人上传最多 5 个 4MB 的文件。
我想知道这对于 s3 来说是否太多了以至于无法应对,或者也许它是微不足道的以至于不会引起任何问题。
如果我们将这些数字作为最大值,那么快速粗略估计将得到
1000 万 X 5 X 4 = 200,000,000MB = 200TB
我们将观察 24 小时内的平均传输率
每小时 8TB 每分钟 140GB 每秒 2.3 GB
这显然没有考虑到使用高峰。
那么,这是‘天啊,这太疯狂了’还是‘是的,应该没问题’,或者介于两者之间?
提前致谢!
答案1
这是 1x 24 小时事件/峰值,还是您每 24 小时的数据都是滚动的?如果是后者,我会回头质疑您的数据,因为这听起来像是在一段持续时间内上传流量非常大。
如果我们谈论的是 1x 24 小时事件,那么总共就是 200TB。简单来说,这相当于 200 个 1TB 硬盘(不考虑 RAID 配置等)。我相信 Amazon S3 可以轻松处理。
至于上传/传输速率,Amazon S3 是大规模分布的,因此您无法尝试通过单个链路在单台机器上实现每秒 2.3Gb 的速率。
答案2
我刚刚收到亚马逊论坛上一位用户的回复:
https://forums.aws.amazon.com/thread.jspa?threadID=77419&tstart=0
你好,
S3 的设计从一开始就考虑到了处理任何互联网应用程序的流量。我不明白您的用例为何会造成任何问题。
听起来我们应该没事。祝你好运!