S3fs 性能改进还是替代方案?

S3fs 性能改进还是替代方案?

我一直试图在 EC2 服务器上使用 s3fs,但是真的很慢。我花了 5 个小时上传了 100MB 的小文件。

我可以做些什么来提高性能,还是与 S3fs 有关?如果没有,我可以使用什么替代方案?

答案1

对于大量较小的文件,S3FS 可能不是最佳选择。S3FS 的开销也相当高。我建议使用类似S3Curl

您甚至可以进行并行传输。但请记住,它永远不会像 EBS/本地存储那样快。

如果你需要将其作为“可安装”存储,那么我所知道的 S3FS 的唯一替代方案是S3Backer或者s3ql

答案2

我刚刚发布了 v0.0.1https://github.com/kahing/goofys部分原因是 s3fs 中的性能问题。文件创建速度提高了 3-6 倍,第一个字节的传输时间提高了 58 倍。欢迎反馈!

答案3

我刚刚对 riofs 和 s3fs 进行了基准测试。我的测试用例是一个相对简单的 bash 脚本,它对找到的每个 .png 运行 pngquant。在一个包含约 70 张图像(其中约 20 张是 png,分布在许多子目录中,这可能会减慢速度)的测试桶中,结果如下:

s3fs:3分54秒
riofs:15.9秒

因此,对于这个测试用例,riofs 的速度大约快 15 倍!设置也非常简单,尽管文档有些简洁。

至于脚本仍然花费了 15.9 秒的事实:它不是很高效,而且实际上在 png 上运行 pngquant 是一个 CPU 密集型的过程。

答案4

我使用过 [1],它非常好用。它有很多命令,可以更轻松地访问 aws 和 s3。

  1. http://timkay.com/aws/

相关内容