我正在将 1TB 的数据从 EC2 实例导入到 AWS Aurora MySQL 表中。由于我们的服务在迁移产品时会中断,因此我非常关心导入速度。
目前我无法突破 1.0Gb/s 的导入速度,使用 测量iftop
。速度可疑地不是 1.1Gb/s 甚至不是 0.990 GB/s,它非常非常接近 1.0Gb/s,这让我认为这是某种人为的带宽限制?有什么建议瓶颈可能是什么吗?
LOAD DATA LOCAL INFILE "chunk1.tsv"
我正在使用从我的 EC2 实例以 4 倍 - 16 倍并行度执行的语句将数据加载到 150MB TSV 块中。- 我的 EC2 实例目前为
m5zn.6xlarge
(“50 Gbps”),但我开始在 上进行实验c5.4xlarge
。它们都达到相同的带宽限制。RDS 实例为db.r5.4xlarge
(“最高 10 Gpbs”)。 - 在我的本地笔记本电脑上运行该作业到本地 MySQL 的速度超过 2.2Gb/s,而且由于块很大(我也尝试过 500MB 的块),我认为它没有延迟。我的笔记本电脑不应该这么快……