![S3 存储桶的最大带宽(上传和下载)和连接数是多少?](https://linux22.com/image/744542/S3%20%E5%AD%98%E5%82%A8%E6%A1%B6%E7%9A%84%E6%9C%80%E5%A4%A7%E5%B8%A6%E5%AE%BD%EF%BC%88%E4%B8%8A%E4%BC%A0%E5%92%8C%E4%B8%8B%E8%BD%BD%EF%BC%89%E5%92%8C%E8%BF%9E%E6%8E%A5%E6%95%B0%E6%98%AF%E5%A4%9A%E5%B0%91%EF%BC%9F.png)
我正在使用 s3 将数 TB 的数据导入生物信息学管道。我有 20 个节点,它们都位于同一个子网中,从 复制文件s3://mybucket.com
、处理文件,然后将结果上传回s3://mybucket.com
。与 s3 之间的复制速度是这里的瓶颈。
如果我有一个节点复制文件,我得到的速度大约是 200Mib/s。但是,如果我将节点数量增加到 200 个,它们的速度都会减慢到 5Mib/s 到 15Mib/s 之间的非常慢的速度,有些甚至根本不复制。
我最初的想法是围绕子网的带宽,但以下是AWS对此有如下评论:
EC2 到 S3 – 往返于 Amazon Simple Storage Service (S3) 的流量现在可以利用高达 25 Gbps 的带宽。
我在这里遇到了哪些可能的限制?如何克服它们?谢谢!
答案1
确保您使用的是S3 网关端点在您的 VPC 内。这也将 S3 流量成本降至零,而通过互联网则按标准互联网费率收费。
如果任务是并行的,并且节点之间不通信,您可以尝试使用几个网关端点将您的实例放入几个 VPC 中。这只是一个想法,我还没有尝试过。但是,如果它们确实进行通信,这可能会大大增加您的带宽费用。