我正在为我的小办公室构建一个文件服务器。我们从事电影和多媒体设计。只有 3 个客户端连接。该服务器主要用于本地访问图形资产和视频文件。我正在寻找所需硬件和软件的建议。特别是针对 RAID。我有以下目标:
A) 合并容量
我希望所有其他系统都能够以单个映射网络驱动器的形式访问数据,该驱动器的初始容量为 10 TB。因此,也许需要 5 个 2TB 驱动器(加上镜像驱动器以实现冗余)。
B) 轻松增加容量
从长远考虑,我想“轻松”地向阵列添加更多驱动器,以便将容量增加两到三倍。因此,理论上它可以达到 30 TB 的 raid 阵列,由大约 15 个 2 TB 容量的驱动器组成(加上用于冗余的镜像驱动器)。
C) 最大容错率
我希望每个容量驱动器至少有 1 个镜像驱动器(通俗地说)。因此,如果我从 10 TB / 5x 2TB 容量开始,我想我需要另外 5x 2TB 驱动器作为镜像。所以总共有 10 个驱动器。但我还希望有更大的冗余潜力;每个“容量驱动器”最多有 2 个额外的镜像(并且能够随时轻松地将它们添加到阵列中)。
D) 监控驱动器健康状况的简便方法
我想要一个直观的界面来管理 raid 和监控驱动器健康状况
访问此网络驱动器的其他系统将运行 Windows,但也可能运行奇怪的 Ubuntu 和 MacOS 系统。
这些目标可以实现吗?您推荐哪种类型的 RAID 设置?需要什么硬件?
另外,您认为该系统应该运行什么操作系统?这真的很重要吗?我不是网络管理员 - 只是一个长期的 Windows 用户,没有太多的 Linux 经验。话虽如此,如果它比此服务器的 Windows 操作系统足够简单且更实用,我并不反对使用 Linux 解决方案。或者可能是 Openfiler 之类的东西。
预算应该达到价值和性能的最佳平衡点(因此我倾向于使用 2TB 硬盘)。最大的重点是存储;除此之外,系统只需要保持硬盘以最佳状态运行,可能有 2 或 3 个客户端随时访问/写入文件。硬件报价将从 10x 2TB WD Caviar Blacks 开始;存储约 1900 美元 + 剩余部件 $x。
http://ncix.com/products/index.php?sku=42775&vpn=WD2001FASS&manufacture=Western%20Digital%20WD
非常感谢您的建议,谢谢!
答案1
我同意@sysadmin1138 在他的回答中所说并投了赞成票,但我想补充一些评论和我的经验。
在从事全职 IT 工作之前,我曾经营一个小型图形部门 8 年,处理这类事情。我们有 3 名艺术家和近 50 个渲染计算机节点集群,用于创建和处理图像序列、视频帧,每帧高达 64 兆像素。我们是一家在小众市场工作的小公司,因此预算对我们来说也一直是个问题。
请记住,拥有 3 个用户的电影和多媒体视频服务器可能意味着很多事情。它可能意味着 3 个用户流式传输相同的 Web 质量视频,也可能意味着 3 个用户合成十几层或更多层的 4k 未压缩或无损压缩帧序列。这两个示例中的网络类型和存储要求大不相同。因此很难真正为您提供可靠的建议,但我会提到我们在之前的工作中使用的设置,因为它超出了该范围的高端。
我们的文件服务器/存储设置由许多外部 RAID 单元组成,这些单元来自阿伯丁连接到运行 Linux 的服务器之一。我们之所以选择 Linux,是因为我们习惯使用它,并且可以避免昂贵的 Windows CAL。嘿,当您拥有一个相当大的渲染场时,它们会加起来。但 Aberdeen 也销售预配置 Windows 的服务器。他们最近还开始提供一些运行 Nexenta 的 ZFS NAS/SAN 存储服务器,这可能也值得一看。但他们的硬件有 5 年保修期,所以我强烈建议您这样做,而不是自己构建。在监控方面,他们的 DAS 单元有一个以太网管理端口,带有用于配置的 Web 界面。但他们可以通过电子邮件和 snmp 提醒您任何问题。
Aberdeen DAS 单元最初以多个 RAID5 LUN 的形式暴露给服务器,但我们最终将它们全部迁移到 RAID6 LUN,并使用 LVM 将存储作为池进行管理。每个项目都有自己的逻辑卷,随着项目的增长,逻辑卷也会增长。这使得在项目完成后存档项目并将空间返回池变得很容易。在 Windows 上,最接近此操作而无需使用第三方文件系统和 Veritas 等管理工具的是 sysadmin1138 建议使用 Windows 动态磁盘。在我们的案例中,RAID10 可能是一个更好的选择,但我们的预算不允许我们放弃一半的容量,因此我们选择坚持使用 RAID6。服务器能够饱和当时拥有的 2 Gbit 链接,因此我认为这个选择并没有减慢我们的速度。
但我在 2003 年开始使用这个设置时,只有 3TB 的存储空间,从那时起,他们就一直在使用它。现在它已经使用了将近 8 年,而且大多数组件多年来都已被替换。但向其中添加额外的存储空间并将逻辑卷从旧单元中迁移出来以停用它们非常简单。几年前,他们还更换了设置中的文件服务器部分。他们当前的服务器有 4Gbit 链接。就存储而言,我听说他们的最后容量略高于 40TB。
还有一些其他的想法。
我知道使用 2TB 驱动器很诱人,因为它可以很轻松地满足您的容量需求,但代价是主轴数量减少,这意味着驱动器损坏时 IOP 更少且重建时间更长。
答案2
我不会给你定价,因为这太过本地化,毫无意义。
单纯从你提出的存储使用模式来看,我看到的最大 I/O 驱动因素是视频和图形设计。视频往往非常大。大到你可能会遇到网络输入/输出在遇到磁盘 I/O 瓶颈之前,先排除瓶颈。它应该对您的用户来说很敏捷,并且具有足够的开销,以便当有人将 1.5GB 的视频文件提交给文件管理器时,人们仍然可以保存其他文件。
至于操作系统和服务器硬件,考虑到您的背景,Windows 在这里运行得很好。服务器需要是 64 位的,并配有 64 位 RAID 卡(如果您购买新的,这应该不是问题)。8GB RAM 是我选择的最低配置。
现在讨论存储基础设施。
关键驱动因素:
- 您想稍后添加驱动器。
- 初始 LUN 的扩展是非常必要的。
- 否则,可以将新的 LUN 添加到动态磁盘集。
- 您需要一个驱动器号。
- 您需要镜像。
- 您需要驱动器健康监测。
选择支持 RAID10 和实时扩展的高端 RAID 卡。或者,如果在购买磁盘时成本开始让您吃不消,可以选择 RAID50 和大量电池供电或闪存缓存。注意 RAID 卡上的“高级格式”支持(4KB 扇区与之前标准的 512B 扇区);如果您从大品牌(戴尔/惠普/IBM)购买,这应该不是问题,但如果您使用零件组装,这将是一个大问题。
存储基础设施到位后,您将依靠 RAID 卡向操作系统呈现单个巨大的 LUN。由于您是端到端的 64 位,因此单个 30TB LUN 应该没有问题。添加空间应该像将驱动器导入 RAID 配置然后扩展 LUN 以填充新空间一样简单,所有这些都可以在线完成。请记住,如果您需要这样做,那么大的单个卷将需要很长时间才能进行 chkdsk。
如果您从大公司购买,他们都有可以监控磁盘健康状况的工具/代理,您只需记住安装和配置它们即可。他们通常也有发送警报的方法。如果您从零件上进行操作,您的 RAID 卡供应商可能有一个实用程序,可以做同样的事情,尽管功能可能不如大供应商分发的集成产品。
如果您出于某种原因确实需要使用多个 LUN,请记住 Windows 允许您使用挂载点。目录 F:\Bigshare\VideoArchive 可以是其自己的卷。人们将 Z: 映射到 \\storeserv\bigshare\,而 Z:\VideoArchive 是第二个 LUN。
避免使用 DFS。非 Windows 系统的支持很不稳定,不能信赖。
RAID50 注意事项
如果你必须去那里,请确保你的驱动器是企业级的。这会增加成本。30TB 的 LUN 可以占用星期在驱动器发生故障后进行重建,而您真的、真的、真的不希望在执行此操作时发生驱动器故障。
事实上,最好确保 RAID50 集的大小不超过 10 TB,并且只使用多个 LUN;这可以减少您停机的时间以及重建期间发生完全数据丢失事件的风险。
使用 Windows 动态磁盘,使用多个 LUN 非常容易。这种类型的驱动器称为跨区驱动器,可以分布在不同大小的多个 LUN 上。这就是您在 32 位服务器上创建 9.5TB 卷的方法,该服务器最多只能使用 2TB LUN(3 个 2TB LUN 和一个 1.5TB LUN)。I/O 不会像单个 30TB RAID10 LUN 那样平衡,但这是您为便宜付出的代价。
答案3
每个驱动器有两个镜像,最高可达 30TB?30TBx3 = 90TB/每个驱动器 2TB = 45 个驱动器。
当您开始谈论这个数据量(和这个驱动器数量)时,您还必须考虑如何传输这个数据量。即使是最初的 10 个驱动器也会超出单个 GNIC 或 RAID 卡的容量。主板上的南桥呢?您可以将足够多的 DAS 驱动器串联在一起以达到容量目标,但处理所有这些数据肯定需要很长时间。
如果您确实需要那么多镜像/扩展/可靠性,我建议您使用 iSCSI SAN。像 Dell Equalogic 这样的产品就是不错的选择。使用一组小型服务器/阵列协同工作,您将比尝试创建一个巨大的阵列获得更大的成功。
此外: 如果您负担得起,请购买企业级硬盘(15k、SAS、WD 或 Seagate)。由于您要分期购买硬盘,希望成本是可控的。全天候运行的消费级硬盘能用两年就算幸运了。因此,在您 45 个硬盘的全部容量下,每个月都会有两个硬盘出现故障。您最终会购买更多硬盘,因为您找不到 2TB SAS 硬盘,但这并不完全是坏事。更多硬盘 = 更好的吞吐量。