我必须向 SLES 10 服务器添加一些存档\暂存存储。要求提供相当大的卷(每个约 9-20TB,总共约 60TB),用于存储存档数据(字面意思是,这是用于库的),包括大型图像文件(大部分为 150Meg Tiff)和大型 tarball。数据将主要偏向读取 IO,肯定 >95%,可能超过 99%。
存储已购买 - 一个 Dell MD3000 SAS 阵列,菊花链连接 2 个 MD1000,其中装有 2TB 7200 RPM SATA 驱动器,总共 45 个驱动器。阵列堆栈使用两个双端口外部 SAS 适配器连接,即堆栈有 4 条路径。
我打算将它们配置为一组 4 个卷,位于 4 个 RAID 组上,每个阵列有一个热备用。所有组都将是具有 7 个或 14 个驱动器的 RAID 6,并且每个 RAID 组将呈现为单个 LUN,使用该组中的所有容量。在 SLES 端,这些需要格式化为 XFS 卷。
我对 SLES(以及一般的 Linux)的经验有限,我正在寻找一些有关此方面的建议,具体来说:
- 在 SLES 10 下配置这种大小的 XFS 卷时有什么特别需要注意的事项吗,例如,根据 IO 配置文件,默认设置是否可以?
- 初始化\分区\格式化这些的最佳方法是什么?我使用 Parted 设置磁盘标签,并使用 YAST 分区管理器(接受所有默认值)创建和格式化 XFS 卷以进行初始测试。
- 如何设置多路径?当我提供初始测试卷时,它显示为四个单独的设备(/dev/sdl、/dev/sdm、/dev/sdn 和 /dev/sdn)。我该怎么做才能将其作为单个卷使用?
- 在我最初的测试中,我发现现有 EMC Clariion SAN 卷的传输速率约为 30Meg/秒。这比我预期的要低很多,即使考虑到 RAID 6 写入损失,我预计传输速率约为 70-100Meg/秒。
- 我如何知道一切是否正常 - 我应该在哪里查找错误\警告等?例如,YAST 分区编辑器需要很长时间才能启动,我想知道原因。
- 您会对其进行不同的分区和/或使用不同的文件系统吗?如果是,为什么?
该服务器是戴尔 2950 - 我没有检查详细的规格,但顶部显示利用率最多徘徊在个位数的低位。
答案1
我之前的工作也遇到过类似的问题。我们为天文馆制作节目,每帧都是 64 兆像素。有很多大图像。这些图像需要通过一组计算机以非常激进的读取操作为每个影院进行处理。
在这种情况下,服务器具有类似的存储设置。多个外部直接连接的 RAID 阵列。每个阵列都位于暴露给主机的 RAID6 卷中,并添加到 LVM(逻辑卷管理器)下的 VG(卷组)中。然后,每个节目/制作都会获得自己的 LV(逻辑卷),格式化为 XFS,我们会根据需要随着项目的发展而扩展。
如果您的数据集非常静态或以可预测的方式增长,那么这种方法应该很适合您。但要小心,这种方法确实有缺点。您最终必须对存储上的 LV 进行微观管理。一些管理员喜欢这种方式,但其他人会尽量避免。但这允许您随着数据集的增长而扩大每个 LV 和 XFS 文件系统。让您的 XFS 卷尽可能小,这样您就不会陷入需要数年才能完成的 fsck 中。并且如果文件系统出现问题,它可以充当损害控制。
免责声明:如果我今天要设置它,我会使用 OpenSolaris 和 ZFS。主要是因为它避免了微观管理问题,并且是一个卓越的文件系统/卷管理器。所以你可能也想看看它。
答案2
我会更愿意购买更多磁盘并对它们进行 RAID 10。
我们之前购买的数百个 1TB FATA(光纤连接 SATA)磁盘都出现了严重问题,每个磁盘价值 1000 英镑,每月损失 5%!基本上,它们不是为 24x7 工作周期设计的,您可能会遇到同样的问题,这就是我推荐 R10 的原因。
RAID6 是朝着正确方向迈出的一步,但如果您有能力,我会将至少一个磁盘留作热备用磁盘 - 如果阵列上的任何磁盘坏了,它会跳入并进行条带化,同时等待您更换故障磁盘。在这方面,请确保您至少有 2 或 3 个备用磁盘可供更换,同时确保您已设置好所有警报,以便在出现问题时全天候通知您。
至于性能,对于 7.2k 磁盘来说,这些 2GB 磁盘并不算太差,而且 SAS 速度非常快,所以我预计您提到的连续读取速度会达到 70MBps - 显然随机读取和写入速度会非常低。
抱歉,如果我看起来比较消极,我已经在存储方面斗争多年了,只有使用企业磁盘系统才能安然入睡——我已经连续工作了太多次 48/72 小时来修理低端设备。