![多台外部机器上的大文件网格存储](https://linux22.com/image/620475/%E5%A4%9A%E5%8F%B0%E5%A4%96%E9%83%A8%E6%9C%BA%E5%99%A8%E4%B8%8A%E7%9A%84%E5%A4%A7%E6%96%87%E4%BB%B6%E7%BD%91%E6%A0%BC%E5%AD%98%E5%82%A8.png)
我有几台专用服务器,上面有未使用的空间。16GB+ RAM,一些有 SSD,其他有 HDD。所有服务器都具有最低 100Mbps 连接。操作系统是 Debian 7 64 位。机器之间没有 LAN 连接(只有 WAN)。
我想创建自我复制存储,因为手动上传所选文件并在需要这些文件时记住它们的位置很困难。像 S3 buckets 这样的东西就很完美了。它必须是免费的(就像啤酒一样)、相对容易安装并且节点之间有身份验证(仅限 WAN 连接)。
我需要存储的文件大小高达几 GB(50MB - 15GB 备份 *.tar.gz)。
其中的hadoop或者HDFS是不是好的选择?
答案1
Hadoop 并非真正适用于通过 WAN 进行分布式 FS 访问。它适用于具有最小延迟的快速本地网络。
如果您只是同步到几个具有一对多数据关系的远程位置(即,数据在一个位置生成,而您只是想分发它以实现冗余),那么最好只使用 rsync。