![对于基于云存储的系统而言,哪种智能自动文件复制解决方案最好](https://linux22.com/image/514423/%E5%AF%B9%E4%BA%8E%E5%9F%BA%E4%BA%8E%E4%BA%91%E5%AD%98%E5%82%A8%E7%9A%84%E7%B3%BB%E7%BB%9F%E8%80%8C%E8%A8%80%EF%BC%8C%E5%93%AA%E7%A7%8D%E6%99%BA%E8%83%BD%E8%87%AA%E5%8A%A8%E6%96%87%E4%BB%B6%E5%A4%8D%E5%88%B6%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88%E6%9C%80%E5%A5%BD.png)
我正在为正在进行的项目寻找解决方案。
我们正在开发一个网络系统,人们可以上传他们的文件,其他人可以下载。(类似于 rapidshare.com 模型)
问题是,有些文件的需求量比其他文件大得多。场景如下:我上传了我的生日视频并与我所有的朋友分享,我已将其上传到 myproject.com,并将其存储在具有 100mbit 连接的集群之一中。
问题是,一旦我所有的朋友都想下载该文件,他们就无法下载,因为这里的瓶颈是 100mbit,即每秒 15MB,但我有 1000 个朋友,他们每秒只能下载 15KB。我没有考虑到硬盘正在提供相同的文件。
我的网络基础设施如下:1 gbit 服务器(客户端)并连接到具有 100mbit 连接的 4 个存储服务器节点。如果其中一个存储节点每秒可以向我的 1gbit(客户端)服务器传输超过 15MB 的数据,并且访问者将直接从客户端服务器而不是存储节点传输数据,则 1gbit 服务器可以处理 1000 个用户流量。我可以通过将文件复制到 2 个节点来实现这一点。但我不想复制上传到我的网络的所有文件,因为这样成本更高。
所以我需要一个基于云的系统,当对这些文件的需求很高时,它会自动将文件推送到复制节点,而当需求较低时,它们会从其他节点删除,并且只保留在 1 个节点上。
我查看了 gluster,并在他们的 irc 频道中询问,gluster 无法做到这一点。它只能复制所有文件或不复制任何文件。但我需要集群软件自动执行此操作。
有什么解决办法吗?(而不是推荐我 amazon s3)
年代
答案1
我会先修复设计,而不是试图给现有设计添加不必要的复杂性。
具体来说,为什么一台服务器有 1Gbps 链接,而其他服务器只有 100Mbps?将它们全部放在 FW/LB/代理前面的同一个非阻塞交换机上 - 这将一次性解决您的复制问题。
哦,我很想知道如何在 100Mbps 链路上实现 15MBps 的速度,你是在 7 位世界中工作吗?:)
答案2
听起来你描述的是反向代理设置。看一下维基百科文章也许nginx服务器 - 你也可以得到类似的结果乌贼或者Apache-httpd。