我们在DELL HW物理机上有3台Hadoop HDFS服务器,所有服务器都运行RHEL 7.2版本
每台服务器包含 3 个 HDFS 磁盘,每个磁盘为 1TB
现在我们要添加另外 3 台 Hadoop 服务器,每台服务器有 3 个磁盘
问题是我们没有找到 1TB 的磁盘,我们能买到的只有 2TB 的磁盘
第二个问题是,当处理 HDFS 磁盘时,所有 HDFS 磁盘必须具有相同的大小
因为老服务器上的磁盘可以达到100%的使用空间,而新服务器的3块2TB磁盘的使用空间只有一半
因此基本上所有 HDFS 磁盘应具有相同的大小
所以我的问题是——我们是否可以通过 RAID 来操作新服务器上的磁盘,以便 Linux 将 2TB 识别为 1TB 磁盘?
答案1
我对 Apache Hadoop 了解不多。我也不太了解你的RAID 设置,但即使您有 2TB 磁盘,您也可以直接使用 LVM 或甚至使用 fdisk 进行简单分区来管理 Linux 中的大小。
我只想确保我有相同的空间来模拟您的另一台机器。如果需要,您可以设置每个分区的块数与其他磁盘上的块数相同。
我建议你做一个 LVM 磁盘管理实验。网上有很多关于 LVM 的教程。
如果您需要的话,这里有一份不错的入门文档。它来自 RedHat,适用于版本 7.x。