GCS 保险丝需要 10 分钟才能执行 ls

Question

以前这个功能运行得很好，但最近两周发现连接速度似乎明显变慢了。执行 gsutil ls -lr gs://bucket/folder 大约需要 10 分钟。该文件夹中大约有 4000 个文件，总计约 250GiB。在 Cloud Shell 中执行相同命令只需几秒钟。

gcsfuse 通过 fstab 安装：gcsbucketname /localfolder/gcsbucketname gcsfuse rw、noauto、allow_other、nosuid、nodev、relatime、user_id=11111、group_id=111、default_permissions

user_id 和 group_id 全部改为 1。

Answer 1

在这种情况下，您可能会达到操作限制，该限制默认设置得非常低：

如果您希望限制往返于 GCS 的流量，以便代表 gcsfuse 设置 GCS 支出限制，您可以这样做：

标志 --limit-ops-per-sec 控制 gcsfuse 向 GCS 发送请求的速率。标志 --limit-bytes-per-sec 控制从 gcsfuse 到 GCS 的出口带宽。所有速率限制都是近似值，并在 8 小时窗口内执行。默认情况下，请求限制为每秒 5 个。默认情况下，带宽没有限制。

https://github.com/GoogleCloudPlatform/gcsfuse/blob/master/README.md#rate-limiting

考虑设置--limit-ops-per-sec为更高的数字，或者0无限制也可以。

你/etc/fstab用它limit_ops_per_sec=0代替。

Answer 2

根据此信息，传递“--implicit-dirs”可能有助于减少 ls 延迟github 问题