RAID 5 30TB 文件存储 - 大文件的文件系统和条带大小

RAID 5 30TB 文件存储 - 大文件的文件系统和条带大小

现在我的存储空间是 6TB,几个月后将增加到 30TB,我希望听到一些关于文件系统和元素条带大小的提示/建议,以免将来出现问题。90% 的文件是 700MB-4GB(主要是大型视频文件和档案)

现在我使用的是 ext4 和 64KB 条带大小。我应该将条带大小增加到 128KB/256KB 吗?zfs 或 xfs 会比 ext4 更好吗?实际使用率为 85% 读取和 15% 写入。将来当机柜已满时,读取将达到 100%,我希望获得最佳的吞吐率。

答案1

尝试一下:不要在驱动器中 2gb 或更大的任何内容上使用 Raid 5;)对于 30tb,我甚至会使用 Raid 6 镜像(即软件 raid 中的 2 个副本)以确保在发生损坏时保留数据。

现在我使用的是 ext4 和 64KB 条带大小。我应该将条带大小增加到 128KB/256KB 吗?>

硬件还是软件?一般来说,是的 - 读取更多数据比稍后再回来的工作量要少得多。我不是 Linux 专家 - 但是例如 SQL Server 确实读取 64kb 扩展,但尝试将表数据保存在线性块中,因此减少了 IO。一个好的大型文件系统将尝试相同的方法,这意味着大于 64gb 的 IO 段大小是好的。

我记得企业级 Raid 控制器的分析显示,与较小尺寸相比,512kb / 256kg 的吞吐量有所增加。特别是如果您有足够的缓存使其“粘”在 Raid 控制器级别上。

很多还取决于读取。大型档案和文件大多是线性非随机访问。那会飞。我的系统较小,但我们在大量机器上对近 200 个进程进行冗余读取,这些机器有 1gb,存储有 10 个 - 因此这是大量随机 IO 进入,我现在使用 8 个迅猛龙的 Raid 6。每秒传输半千兆字节。256kb Stripe、Raid 6、Adaptec 71605Q 上的 1gb 缓存。SSD 作为缓存可用但对该组不活动 ;)

很大程度上取决于阅读模式。

但是对于那些大型驱动器,请远离 Raid 5。这是在拿数据赌博 - 除非您可以没有 Raid(在完全重建期间,当由于驱动器故障导致重建期间 raid 崩溃时)并且有另一个备份源(如磁带)。从数学上讲,您基本上可以预料到这么多 4TB 驱动器会出现问题。

相关内容