Hadoop 云使用 zfs 替代 ext4

Hadoop 云使用 zfs 替代 ext4

目前我有几个采用 ext4 的 linode。我有一个 Hadoop 设置。如果我将文件系统从 ext4 迁移到 zfs,我会得到什么好处。

  • 响应时间会有什么好处吗?
  • 在本地局域网中交换数据时有任何速度优化吗?
  • 如果我在云中添加新的 linode,同步时间是否会比 ext4 缩短?

    还有什么缺点?

答案1

来自白皮书来自 Adurant:

此配置的优点包括:

  • 通过将复制因子降低到 2 倍来减少 Hadoop 集群开销
  • 通过将复制因子降低到 2 倍来减少存储(磁盘空间)需求
  • 通过 ZFS 存储设备将数据副本数量增加到 4 倍
  • 通过 ZFS 存储设备添加数据压缩 o 即使在镜像池配置中也能进一步减少存储空间需求
  • 通过 ZFS 存储设备添加读写缓存,减少 I/O 响应时间
  • 增加了数据保护 (RAID 1),且不会给 Hadoop 集群增加额外开销
  • 通过 ZFS 存储设备的集群头增加了容错能力

结果如下:

Hadoop ZFS 概念验证测试的结果清楚地表明,ZFS 存储设备完全有能力处理当前的 Hadoop 工作负载。数据处理受 CPU 限制,内存利用率正常,I/O 利用率正常,数据压缩率至少为 3.5 倍。

当然,压缩效率等因素很大程度上取决于您的数据,而性能不仅取决于设计,还取决于实际硬件。该文档还提供了设置的概述。您可以用较少的节点和一部分真实数据以较小的方式复制它,然后运行您自己的基准测试。

相关内容