我一直试图在 EC2 服务器上使用 s3fs,但是真的很慢。我花了 5 个小时上传了 100MB 的小文件。
我可以做些什么来提高性能,还是与 S3fs 有关?如果没有,我可以使用什么替代方案?
答案1
答案2
我刚刚发布了 v0.0.1https://github.com/kahing/goofys部分原因是 s3fs 中的性能问题。文件创建速度提高了 3-6 倍,第一个字节的传输时间提高了 58 倍。欢迎反馈!
答案3
我刚刚对 riofs 和 s3fs 进行了基准测试。我的测试用例是一个相对简单的 bash 脚本,它对找到的每个 .png 运行 pngquant。在一个包含约 70 张图像(其中约 20 张是 png,分布在许多子目录中,这可能会减慢速度)的测试桶中,结果如下:
s3fs:3分54秒
riofs:15.9秒
因此,对于这个测试用例,riofs 的速度大约快 15 倍!设置也非常简单,尽管文档有些简洁。
至于脚本仍然花费了 15.9 秒的事实:它不是很高效,而且实际上在 png 上运行 pngquant 是一个 CPU 密集型的过程。
答案4
我使用过 [1],它非常好用。它有很多命令,可以更轻松地访问 aws 和 s3。