RAID - 使用多种条带大小

RAID - 使用多种条带大小

在大型在线商店(1PB)中,如果您有大量小文件(32Kb<)、图像(256KB-5MB)和视频(>100MB),是否可以使用具有不同条带大小的多个磁盘?

假设有 10 个磁盘,条带大小为 16 KB,20 个磁盘,条带大小为 256KB,30 个磁盘,条带大小为 1MB。当您上传视频时,它会上传到条带大小为 1MB 的磁盘,或者当您上传小文件时,ip 会上传到条带大小为 16KB 的磁盘。

较小的条带大小会导致大文件的块过多,而如果您有小于 32kb 的小文件,则较大的条带无效,如果使用不同的条带大小,是否可以提高读/写性能。

答案1

虽然你的问题的答案很简单:

是的 您可以在控制器中创建不同的虚拟磁盘,并为每个虚拟磁盘设置不同的属性,如[条带大小、raid 级别等...],只要控制器支持它。

我认为 1petabyte 是拼写错误,否则您的问题就毫无意义了,因为您不应该在单个存储柜中存放如此大量的数据。您需要考虑不同的解决方案,最有可能的是分布式对象存储,以区分每个类别对象的后端 [视频、缩略图、大图片],类似于我最初发布的评论。

答案2

是否可以使用具有不同条带大小的多个磁盘?

是的,但不在同一个阵列中,它们通过在所有阵列成员上划分相等的大小来工作,我想象一些像 ZFS 一样灵活的东西可能允许这种摆弄只是为了好玩,但我想这确实是一个非常糟糕的主意。

当然,您可以拥有多个阵列,每个阵列针对不同的文件大小/要求进行调整 - 但您的工作是确保将适当的文件写入正确的阵列/卷。

不要忘记,您处理的大多数文件系统都会自动延迟写入,因此它会“聚集”大量写入,从而至少部分抵消将文件拆分成不同卷的任何积极影响。

最终,我建议只需获得一个具有相当数量 FBWC 的真正好的阵列控制器,并相信文件系统能够完成其工作。

相关内容