HDFS 的最佳底层文件系统类型和配置

Question

我想重新格式化本地驱动器分区并将其转换为 HDFS 分区。哪个文件系统最适合在其上运行 HDFS？我应该针对此文件系统进行哪些优化？

这是 Ubuntu 14.04

Answer 1

以下是最佳做法：

最佳实践

执行摘要：

• ext3 经过最充分的测试，非常可靠
• ext4/xfs 测试较少，但具有性能优势

Answer 2

我不推荐 ext3。它有帧问题。

鉴于 HDFS 通常在 OS 文件系统上处理大型文件，ext4 将是更好的选择。ext4 将空间组织成连续的区段（相邻块的块）。因此将小块映射到大块的开销要小得多。ext4 也不太容易产生碎片。

虽然 XFS 似乎具有与 ext4 类似的功能，但我的测试（虽然不是针对 hdfs 工作负载）表明，它在某些情况下不如 ext4（例如删除大量文件等）。

虽然建议为 ext3 保留一定空间以减少帧占用。默认情况下，该空间为 5%，请参阅

sudo tune2fs -l /dev/sdb1 | grep 'Reserved block count'

因此，您就损失了 5% 的 HDFS 空间。对于 ext4，您可以将保留空间设置为 1% 甚至 0%（关闭）。

对于 HDFS 来说，使用 ext4 是不会错的。

ext4 的一些其他推荐选项：

• -noatime（安装选项）
• -tune2fs（关闭保留块）

有人还建议关闭 ext4 中的延迟分配，但如果没有经过测试，我不会这样做。