多台外部机器上的大文件网格存储

多台外部机器上的大文件网格存储

我有几台专用服务器,上面有未使用的空间。16GB+ RAM,一些有 SSD,其他有 HDD。所有服务器都具有最低 100Mbps 连接。操作系统是 Debian 7 64 位。机器之间没有 LAN 连接(只有 WAN)。

我想创建自我复制存储,因为手动上传所选文件并在需要这些文件时记住它们的位置很困难。像 S3 buckets 这样的东西就很完美了。它必须是免费的(就像啤酒一样)、相对容易安装并且节点之间有身份验证(仅限 WAN 连接)。

我需要存储的文件大小高达几 GB(50MB - 15GB 备份 *.tar.gz)。

其中的hadoop或者HDFS是不是好的选择?

答案1

Hadoop 并非真正适用于通过 WAN 进行分布式 FS 访问。它适用于具有最小延迟的快速本地网络。

如果您只是同步到几个具有一对多数据关系的远程位置(即,数据在一个位置生成,而您只是想分发它以实现冗余),那么最好只使用 rsync。

相关内容