Commvault 和 AWS S3 性能

Question

我们正尝试使用 Commvault 将 150TB 上传到 S3。但是，使用 1.5Gbs 专用线路，我们每天只能上传大约半兆字节。我们还启用了以下建议：

• 最佳实践
• 性能调优

我们还能做些什么来提高 S3 的摄取率？

Answer 1

因此，在向 Commvault 提交工单并进行几个小时的故障排除后，我们发现问题出在本地 SAN 上的热点和存储备份并发送到 S3 的慢速 SATA 磁盘上。修复该问题后，互联网管道就成了瓶颈。

最重要的是，我们能够从每天 500GB 扩展到每天 10TB 以上。随着从 Commvault 端添加更多流，S3 能够相当线性地扩展。

Answer 2

阅读本文。延迟会对 S3 上传性能产生重大影响。您与 S3 的 ping 时间是多少？您的平均对象大小是多少？您使用了多少个线程？

S3传输加速使用 CloudFront 进行上传，这可能会使其速度更快。我读过一些报告说它并不总是能带来很多好处。

您可以上传到离您较近的 S3 区域，然后复制数据。这可能会花费更多。

您还可以发送物理磁盘，使用AWS 导入导出。