我已经构建了一个应用程序，它分叉进程池来获取网络内容。
我有 3 个 ec2 实例通过 fuse 安装到一个 s3 存储桶上。
我在写入文件时遇到间歇性错误。
据我所知，s3 似乎不喜欢大量并发写入，我可能需要写入 EBS，然后同步/复制。
这是正确的解决方案吗？或者有更好的方法吗？
答案1
事实证明问题并不在于并发写入。
当尝试长时间突发 CPU 使用率时，ec2 Micro 实例会窃取 CPU，这反过来会导致大量 io 活动出现问题。
这个可爱的视频清楚地解释了这个问题： -
http://www.youtube.com/watch?v=EQOmqi_n_ZY
解决方案是从微型实例转变为小实例。