s3cmd 多部分块大小内存管理

s3cmd 多部分块大小内存管理

我想知道如何预测 s3cmd 上传给定文件将使用多少内存。我担心对于大文件,它可能会占用过多的系统内存。如果我增加块大小,它会在每个块/多部分中使用更多内存吗?

我检查了文档

https://s3tools.org/s3cmd

但找不到任何与内存管理相关的内容。

我尝试过上传一个 200GB 的文件,比如

/usr/bin/s3cmd put largefile_200G.txt s3://mybucket/testlargefile/largefile_200G.txt --multipart-chunk-size-mb=250

我自己看到的情况是,创建进程的内存使用量是恒定的,并且与服务器上的可用内存成比例选择(服务器上的可用内存越多,分配给 s3cmd 进程的内存就越多)。

是否有人碰巧知道内存管理的大致工作原理以及它是否会像我在实验中尝试的那样始终保持不变(即没有峰值)?

相关内容