GCSFuse v0.33.2 - 大型对象(11GB)上传至 GCSBucket 失败

GCSFuse v0.33.2 - 大型对象(11GB)上传至 GCSBucket 失败

当我们尝试将 11 GB 的文件上传到存储桶时收到以下错误;此外,由于我们无法列出存储桶中可用的对象,文件系统将进入“???????”。

这需要再次umount返回mount才能查看存储桶中的对象。但是,上传仍然无法进行,并且占用了所有可用内存进行上传。

GCSFuse 进程几个小时都没有释放已使用的内存。我们如何解决这个问题?我们使用的是 GCSFuse 的 v0.33.2。

错误:

Error 1 - Transport endpoint is not connected
Error 2 - Software caused connection abort

答案1

GCSFUSE 具有高延迟处理大文件时,建议使用gsutil cp

gsutil cp 命令允许您在本地文件系统和云之间、云内以及云存储提供商之间复制数据。

有了它,你可以拥有更多实用程序,如可恢复上传,并且它易于使用,例如

gsutil cp *.txt gs://my-bucket

相关内容