在家中建立分布式容错存储

在家中建立分布式容错存储

我厌倦了担心家里的数据丢失。我的妻子是一名半职业摄影师,我们家里的所有记忆基本上都是数字化的(我们应该将非数字化的记忆转换过来)。我计划设置两个系统来托管磁盘,并通过两个系统磁盘上的 iSCSI 运行某种集群文件系统(然后将其备份到外部驱动器,这些驱动器每周轮换一次)。我运行 Linux,需要支持 Apple OS X 和一点 Windows(可以忽略 Windows,因为它将用于 VMware 实验及其自己的 LUN,或者可以与 SMB 共存)。所以如果有 Mac 原生客户端就太好了,但我可以使用 NFS。

该环境还将配备一台 Mac 笔记本电脑、一台 Linux 笔记本电脑和一台大型台式机,它们将随时连接到主文件系统,但它们只是用户,不会贡献存储。

硬件方面,我相当开放,低功耗会很好,因为这些设备可能会全天候运行(除非我将 Linksys 路由器设置为在有人寻找时发送 LAN 唤醒数据包?),可能正在寻找带有 nVidia 芯片组的双核 Atom,这样我就可以拥有 4GB 的 RAM,2-4 个 SATA 端口和双千兆以太网。我计划购买 5 个磁盘作为开始(必须考虑其中一个会坏掉,所以先买一个备用的,当然要先测试一下),最好有一个或两个空闲的端口(和机箱中的驱动器插槽)。我将有一台台式机和两台相当强大的笔记本电脑来玩虚拟机和其他密集型工作,所以我认为台式机 CPU 没什么意义(虽然很诱人)。能够从 CF 卡启动会很好。

宁愿不处理专有驱动程序,但由于这些驱动程序将是无头的(可能),所以这不是问题。我遇到过 ATI 驱动程序导致用户切换和省电/暂停的问题(您是想让 Planet Penguin Racer 飞起来,还是不必注销即可让您的妻子或孩子使用计算机?)。

我想重复使用我已经拥有的机箱和电源,但它们是 ATX(旧的,但没有旧到成为 AT),小型 MB 会出现问题吗(我担心的是机箱,我预计 MB 将采用标准的 24 针 ATX 插头)?

我正在考虑的硬件:
ZOTAC IONITX-FE Atom N330 1.6GHz 双核 Mini ITX Intel 主板 - 具有 16x pci express
ZOTAC IONITX-AU Atom N330 1.6GHz 双核 Mini ITX Intel 主板 - 配备电源
Asus AT3N7A-I Intel Atom 330/Nvidia ION/Mini ITX 主板 - 具有 PCI 插槽

所有产品都只有一个千兆以太网端口。我更喜欢自带 PS 的产品,Zotac 的产品至少有 WiFi(提供了一些冗余,但性能很差)。

摘要:可能有效的 FS:Gluster 看起来不错(有人亲自使用过吗?随身携带的笔记本电脑怎么样?),pNFS 可能也可以使用,还有什么设置好后就可以使用的东西吗?(对于类似的问题,太多人发布的链接距离投入生产还有很长的路要走,或者没有任何容错能力。)

否:Luster 确实需要一个大型安装。xtreemfs - 没有冗余,pvfs - 我只是不喜欢放在现​​有 fs、GFS2 和 OCFS2 上的东西 - 从人们在这里所说的来看,这很痛苦。

很酷,但不在那里 - POHMELFS、CEPH、CRFS,

答案1

正如 Nic 所说,您需要多少数据?

就我个人而言,我创建的每个文件(可以追溯到 20 年前,尽管旧的文件确实很小)、我妻子的大多数文件(大多数是因为她换过几次电脑,旧硬盘上有一些零碎文件)、我们拍摄或扫描的每一张照片以及我们大多数家庭视频(不是直接从相机拍摄的原始文件,而是许多“最佳”剪辑)都适合放在 320GB 硬盘上。我至少需要 3 年才能达到 500GB。

因此,我在外部硬盘上只保留了 4 份副本。一个硬盘放在家里,一个小硬盘随身携带,一个放在办公室,最后一个随身携带。我使用 SecondCopy 将笔记本电脑上的文件备份到外部硬盘,并且每当我更改多个文件时,我都会将文件备份到至少一个外部硬盘上。硬盘很便宜,当我需要更大的硬盘时,花费不多,而且我会留出至少几个 320 硬盘以永久保存。

我正在认真考虑(因为我的笔记本电脑硬盘几乎满了)删除笔记本电脑上所有内容的“主”副本,并将其中两个硬盘作为随身存储空间,另外两个硬盘作为固定备份。

答案2

因为这是针对家庭环境的,所以你可能需要考虑购买德罗博FS。它们会支持您想做的一切,专业摄影师也对它们深信不疑。如果您有钱,您可以购买第二台 Drobo FS,它们会自动镜像(我从未设置过,但我听说有人设置过)。

他们还支持 Time Machine,这是一个很大的优点。

答案3

好吧,你可以用 RAID Z2 设置 Nexenta,但这无法保护你的数据免遭盗窃或火灾。我建议你看看照片共享服务,比如 Smugmug,它可以备份和共享照片。分布式家庭磁盘服务 Wuala 可以将本地存储换成在线存储。我发现最好的多操作系统备份服务是 CrashPlan,他们还有一个家庭套餐。

答案4

您可能对以下方面感兴趣Backblaze Pod如果您有大量的存储需求,或者有类似的解决方案(定制机箱中的 RAID 卡 + 乘数背板)

至于文件系统:你看过开放AFS? 它的一个不错的功能是断开连接操作。

相关内容