Hadoop HDFS 节点的其他存储选项

Hadoop HDFS 节点的其他存储选项

我们有一个小型生产 Cloudera 分发版 Hadoop 集群(14 个节点,但还在增长)。随着我们扩大对该集群的使用,我们发现磁盘存储是我们最大的阻碍和要求。在我们的工作负载下,RAM 和 CPU 的使用率很小,我们的开发人员已经显著减少了存储的数据量。

我们使用的硬件相对较低端,因此我们已将每个节点上可安装的驱动器数量最大化。目前,我们的空间还不是不够,但我们有一个新的数据源,它将加速我们的数据增长,我们只想向系统添加存储空间。

系统只有一个扩展卡插槽,目前我们的 SAS HBA 正在运行内部驱动器。我相信我们可以用具有内部和外部 SAS 端口的 HBA 替换它,这样我们就可以维护内部驱动器并连接到外部驱动器。我遇到的理解和 Google 能力的极限是,我无法找到用于容纳外部硬盘驱动器并让每台服务器直接以 6Gbit/s SAS 访问驱动器的最佳设置。

Hadoop HDFS 倾向于在它和硬盘之间不采用任何其他技术,我希望保持这种状态。如果我使用 SATA,我会选择一个外部机架式驱动器外壳,将其外部 eSATA 端口直接连接到内部驱动器,而无需驱动器扩展器或 RAID 控制器。我在 SAS 硬件中找不到等效物。

我正在寻找有关 DAS SAS 的建议,最好是使用单个机箱来服务多台服务器,并且不做任何超出此范围的创新。如果做不到这一点,我有哪些选择可以提供与我们现在使用的 SAS 驱动器相当的存储和速度?

贾里德

答案1

您正在寻找一个可以容纳 SAS 磁盘并且能够分区或容纳多台服务器的外部 JBOD 外壳……

我能想到的唯一例子是HP MDS600(旧款)或者D6000(当前)

它们可以安全地与标准 SAS HBA(LSI)一起使用,并提供无需 RAID 层的直接磁盘访问。

看:HP MDS 600 兼容性问题

mds600
(来源:olx.co.ke

相关内容