目前我有几个采用 ext4 的 linode。我有一个 Hadoop 设置。如果我将文件系统从 ext4 迁移到 zfs,我会得到什么好处。
- 响应时间会有什么好处吗?
- 在本地局域网中交换数据时有任何速度优化吗?
如果我在云中添加新的 linode,同步时间是否会比 ext4 缩短?
还有什么缺点?
答案1
来自白皮书来自 Adurant:
此配置的优点包括:
- 通过将复制因子降低到 2 倍来减少 Hadoop 集群开销
- 通过将复制因子降低到 2 倍来减少存储(磁盘空间)需求
- 通过 ZFS 存储设备将数据副本数量增加到 4 倍
- 通过 ZFS 存储设备添加数据压缩 o 即使在镜像池配置中也能进一步减少存储空间需求
- 通过 ZFS 存储设备添加读写缓存,减少 I/O 响应时间
- 增加了数据保护 (RAID 1),且不会给 Hadoop 集群增加额外开销
- 通过 ZFS 存储设备的集群头增加了容错能力
结果如下:
Hadoop ZFS 概念验证测试的结果清楚地表明,ZFS 存储设备完全有能力处理当前的 Hadoop 工作负载。数据处理受 CPU 限制,内存利用率正常,I/O 利用率正常,数据压缩率至少为 3.5 倍。
当然,压缩效率等因素很大程度上取决于您的数据,而性能不仅取决于设计,还取决于实际硬件。该文档还提供了设置的概述。您可以用较少的节点和一部分真实数据以较小的方式复制它,然后运行您自己的基准测试。